一、APP性能维度分析文章源自玩技e族-https://www.playezu.com/190321.html
APP类型众多,根据具体类型划分,性能指标的维度和优先级各不相同。视频类APP归属于娱乐游戏型的APP,因此性能测试维度优先级排序为:流畅度、crash、内存、流量、响应时长、功耗、CPU。文章源自玩技e族-https://www.playezu.com/190321.html
表征不同维度指标的量化单位如图1所示。比如流畅度是FPS(帧率),内存是兆比等等。文章源自玩技e族-https://www.playezu.com/190321.html
文章源自玩技e族-https://www.playezu.com/190321.html图1 不同维度指标的量化单位文章源自玩技e族-https://www.playezu.com/190321.html
因为Android平台底层是由linux系统改良而来,不同维度的指标绝大部分都可以通过命令获取不同的指标(具体方法可以考加后面工具)。文章源自玩技e族-https://www.playezu.com/190321.html
在iOS平台上,性能的获取必须使用Xcode里面instruments下的相应组件,不像开源的Android那样灵活,但技术上是可以做到各平台的性能指标获取测试。
二、APP性能测试平台文章源自玩技e族-https://www.playezu.com/190321.html
从2012年后,测试平台化、服务化的思路推广到全国各地。各大公司都开发了不同的性能测试平台,如图2所示。比较有代表性的性能测试平台包括:文章源自玩技e族-https://www.playezu.com/190321.html
●百度的慕斯(又名移动APP测试业务支撑平台(外部名称MTC:http://mtc.baidu.com));文章源自玩技e族-https://www.playezu.com/190321.html
●腾讯的bita;文章源自玩技e族-https://www.playezu.com/190321.html
●GT(http://gt.qq.com);
●itestin(最老的一个性能和兼容性测试平台http://i.testin.cn/)。
由于IOS性能测试首先要涉及到签名的破解,所以所有平台一般都是从Android的APP进行切入点先行开发。
图2 三大性能测试平台
三、APP性能测试落地
性能测试开展主要分线下性能测试和线上监控测试两大类。
线下APP性能测试主要依靠传统测试手段和方法,比如PM和QA发起一个性能和竞品对比性能测试,此外,版本大改动、框架迁移,都需要重新进行APP性能测试。线下测试我们用一些比较稳定的平台和工具就足以应付,产品接入即可收集性能指标。百度内部产品线一般都接入了MTC平台;腾讯产品一般都用他们内部开发的GT工具,GT工具不但线下测试比较方便,线上测试性能也不错。
线上监控测试主要是针对一些动态变化的情况,因为APP测试中关键的一点是场景化测试,即APP必须在特定场合,特别条件才触发某类问题。这时候比较E2E场景case指标功能,才能更精准衡量产品核心性能的能力。
如我们在二、三线城市特定的网络下,观看某一部特定片源(爱奇艺视频源),并且离线缓存,这时候用到了不同地域网络和调用了爱奇艺在那个城市的server。这是在北京没法做到的场景,虽然可以借助vpn模拟异地场景测试。实际上效果并不良好,因为模拟取决于北京的网络情况,还有vpn不能模拟动态变化网络切换的场景。
针对线上性能的监控,某公司深圳研究所做了个场测助手,这是一款方便收集性能,定位bug一体化的工具。
四、APP性能指标获取手段
下面是几个简单方便的方法,可以让你自己写脚本来获取各种性能指标。
● 4.1 Android系统指标获取
CPU的测试方法分为几类:
使用Android提供的view plaincopy在CODE上查看代码片派生到我的代码片
adbshell dumpsys CPUinfo |grep packagename >/address/CPU.txt来获取;
使用top命令view plaincopy在CODE上查看代码片派生到我的代码片
adbshell top |grep packagename>/address/CPU.txt来获取。
内存
内存消耗测试节点的设计目标是为了让应用不占用过多的系统资源,且及时释放内存,保障整个系统的稳定性。当然关于内存测试,在这里我们需要引入几个概念:空闲状态、中等规格、满规格。
空闲状态指打开应用后,点击home键让应用后台运行,此时应用处于的状态叫做空闲;中等规格和满规格指的是对应用的操作时间的间隔长短不一,中等规格时间较长,满规格时间较短。
内存测试中存在很多测试子项,清单如下:
●空闲状态下的应用内存消耗;
●中等规格状态下的应用内存消耗;
●满规格状态下的应用内存消耗;
●应用内存峰值;
●应用内存泄露;
●应用是否常驻内存;
●压力测试后的内存使用。
电量
电量测试主要从以下几个方面入手进行测试:
●测试手机安装目标APK前后待机功耗无明显差异;
●常见使用场景中能够正常进入待机,待机电流在正常范围内;
●长时间连续使用应用无异常耗电现象。
电量测试的方法分为软件测试和硬件测试两类。
软件测试又分为两类:第一类采用市场上提供的第三方工具,如金山电池管家之类的;第二类就是自写工具进行,这里一般会使用3种方法:
第一种基于Android提供的PowerManager.WakeLock来进行;
第二种比较复杂一点采用公式:功耗的计算=CPU消耗+Wakelock消耗+数据传输消耗+GPS消耗+Wi-Fi连接消耗;
第三种通过adbshell dumpsys battery来获取。
硬件测试,一般使用万用表或者功耗仪进行测试,使用功耗仪测试的时候,需要制作假电池来进行的,有些不能拔插电池的手机还需要焊接才能进行。
启动时长
关于应用的启动时间的测试分为三类:
第一类:首次启动 --应用首次启动所花费的时间;
第二类:非首次启动 --应用非首次启动所花费的时间;
第三类:应用界面切换--应用界面内切换所花费的时间。
那么如何来做启动时间的测试呢,一般我们分为2类:一类为使用软件来测试,一类为使用硬件来测试。
首先我们说说软件测试的方法,可能大部分人都比较通晓使用Android 提供的DisplayManager来获取activity的启动时间。通过日志过滤关键字 Displayed来过滤所有activity所打印的,记录日志通过。
帧率
GPU这个词对于PC性能测试者来说并不陌生,而今3Dmax,安兔兔之类的第三方软件让GPU在移动端性能测试领域家喻户晓,但对于APP内的GPU该如何来测试呢?首先我们引入几个名词:过度绘制、帧率、帧方差。
过度绘制是指界面显示的activity套接了多层导致的结果。帧率是指屏幕刷新率。帧方差是指屏幕刷新帧间隔方差。
对于GPU的测试主要包括以下几个测试子项:界面过度绘制、屏幕滑动帧速率、屏幕滑动平滑度。
对于过度绘制的测试主要通过人工进行测试,打开开发者选项中的显示GPU过度绘制来进行测试(PS:只有Android4.2及以上的版本才具备此功能),验收的标准为:
不允许出现黑色像素;
不允许存在4x过度绘制;
不允许存在面积超过屏幕1/4区域的3x过度绘制(淡红色区域)。
对于屏幕滑动帧速率的测试主要有两种方法。以软件测试为例:
手机端需打开开发者选项中的启用跟踪后,勾选 Graphics 和 View;
启动SDK工具Systrace插件,勾选被测应用,点击Systrace插件,在弹出的对话框中设置持续抓取时间,在tracetaps下面勾选gfx及view选项;
通过节拍来进行滑动或者扫动滑动界面,帧率数据会保存到默认路径下,默认名称为 trace.html;
将trace.html文件拷贝到linux系统下,通过命令进行转换,生成trace.csv文件。
网络流量
这里所指的网络流量测试是针对大部分应用而言的,可能还有部分应用会关注网速、弱网之类的测试。流量测试,同样需要引入几个名词:
中等负荷:应用正常操作;
高负荷:应用极限操作。
流量测试包括以下测试项:
应用首次启动流量提示;
应用后台连续运行2小时的流量值;
应用高负荷运行的流量峰值。
应用中等负荷运行时的流量均值测试一般都是应用软件来进行的,这里我们一般分为2类:
一类是采用市场提供的第三方工具来进行测试,如流量宝之类的,第二类是自行研发工具进行测试。
自行研发工具进行测试一般包含通过tcodump抓包,或通过wireshake直接读取包信息来获得流量。
通过adbshell dumpsys package来获取被测应用的uid信息,在未操作应用之前,通过查看adbshell cat /proc/uid_stat/uid/tcp_rcv
adbshell cat /proc/uid_stat/uid/tcp_snd
获取到应用的起始的接收及发送的流量;再操作应用后,再次通过上述命令获取到应用的结束时接收及发送的流量,通过相减即得到应用的整体流量消耗.
● 4.2 IOS系统指标获取
对于iOS系统,只需要一个装有xcode的mac电脑,便可相对容易地获取上述指标。xcode的最新版本是7.0。