页面展现时间
互联网网站通常最关注展现时间,一般有更具体的指标如首屏展现时间。大家用一用淘宝或者京东就能理解了。
吞吐量
TPS
业务上的需求,比如百度一定会有每秒钟处理多少万次搜索请求这类的指标。
特定需求的评估标准
如上面举的例子,消息到达率。
这些对性能的评价标准,应该在测试设计时就明确下来,测试负责人可对此进行检查。
有一点需要注意的是,性能指标是否可检测。通用的指标如页面响应时间很容易获取,所有的测试工具都可以做到。但一些特殊的指标,尤其是涉及到客户端的,可能会存在技术上的问题。比如即时通讯软件的测试中,要求最大压力时,发送信息能够在1s内到达。那么这个到达时间如何获取呢?如果没有提前做好准备,在测试执行时很可能会遇到问题,而测试人员遇到这个问题,很有可能会选择忽视它,只顾把压力加上去就算测完了。
Q7、性能测试(不)能做什么
web系统性能测试
最常见的目的是模拟用户的实际行为,获取用户的感受。
如何模拟用户的实际行为
建立用户模型。即用户做什么操作、操作路径是什么、操作频率……
如何建立用户模型
常用业务
性能敏感业务
关键业务
特殊关注
这里只是用户模型覆盖度的问题,实际使用的用户模型还需要很多其他信息才能建立起来。
测试负责人需要重点关注和确认用户模型的建立。
性能测试的覆盖率
由上可知,性能测试只能覆盖系统的一部分功能。不要指望所有和性能相关的问题都由性能测试来发现。
性能测试最最想发现的是瓶颈,而不是缺陷。
我比较害怕听到这样的话,“生产环境的一个操作很慢,去做下性能测试吧”。
Q8、如何检验性能测试的质量
执行过程
建立执行规范
明确定义执行过程各检查点需要的输出物
指派检查人员
根据执行规范进行检查
输出执行记录
测试人员都知道,设计的用例和实际的执行总是不一样的。性能测试更是如此,调整参数重新运行脚本也是一次执行,这些信息必须有清晰的记录。
持续交互确认
性能报告
让数据证明结论,而不是下结论
原文转自:http://www.uml.org.cn/Test/201304085.asp