2.1.2 TPC基准测试
TPC不给出基准程序的代码,而只给出基准程序的标准规范。任何厂家或其他测试者都可以根据规范,最优地构造出自己的测试系统(测试平台和测试程序)。为保证测试结果的完整性,被测试者(通常是厂家)必须提交给TPC一套完整的报告(Full Disclosure Report),包括被测系统的详细配置、分类价格和包含5年维护费用在内的总价格。该报告必须由TPC授权的审核员核实(TPC本身并不做审计)。TPC在全球只有不到10名审核员,全部在美国。
TPC推出过11套基准程序,分别是正在使用的TPC-App、TPC-H、TPC-C、TPC-W,过时的TPC-A、TPC-B、TPC-D和TPC-R,以及因为不被业界接受而放弃的TPC-S(Server专门测试基准程序)、TPC-E(大型企业信息服务测试基准程序)和TPC-Client/Server。而目前最为“流行”的TPC-C是在线事务处理(OLTP)的基准程序,于1992年7月完成,后被业界逐渐接受。
TPC-C使用三种性能和价格度量,其中性能由tpmC(transactions per minute,tpm)衡量,C指TPC中的C基准程序。它的定义是每分钟内系统处理的新订单个数。TPC-C还经常以系统性能价格比的方式体现,单位是$/tpmC,即以系统的总价格(单位是美元)/tpmC数值得出。
从TPC-C的定义不难知道,这套基准程序是用来衡量整个IT系统的性能,而不是评价服务器或某种硬件系统的标准,而且tpmC数值的高低直接受到各个环节的影响,右表大概可以说明系统设置对tpmC测试的影响。此处的“IT系统”包括服务器、外设(如硬盘或RAID)、服务器端操作系统、数据库软件、客户端及其操作系统、数据库软件和网络连接等。因此,如何解读tpmC数值会因不同的采购需求有非常大的差异。
2.1.3 其他测试基准
除了以上介绍的两个测试标准外还有其他的一些服务器标准测评指标,如Linpack它测试CPU密集浮点运算性能。以下是服务器评测的一些Benchamark软件:
1) SPECweb99 相对简单的webserver 的基准测试;
2) SPECweb99_SSL SPECweb99 的SSL版本;
3) SPEC SFS97 基于NFS的file server的基准测试;
4) SPECmail2001 电子邮件系统的基准测试;
5) SPECjbb2000 基于Java的业务的基准测试;
6) ECperf 企业Javabean的基准测试- 马上将被SPECjAppServer2001代替;
7) SPEC CPU2000 整数和浮点运算的基准测试;
8) SPEC OMP2001: 测试基于OpenMP并行化的并行应用性能的基准测试;
9) TPC-C 老事务处理的基准测试;
10) TPC-H Ad-hoc 查询以及决策支持的基准测试;
11) TPC-R 商业报告以及决策支持的基准测试;
12) TPC-W 基于事务处理的互联网电子商务的基准测试;
13) Oracle Applications benchmark:Oracle应用程序的基准测试;
14) Fluent CFD benchmarks:Fluent公司计算流体动力的基准测;
15) Server and workstation benchmark records at Ideas International:Ideas International Limited (IDEAS)公司的服务器和工作站的基准测试(包括产品的性能,价格,服务)。
2.2 评测指标
什么是测试指标,测试指标就是在一个测试中需要测试什么;测试指标来源于依据的标准如:国际标准,国家标准,行业标准等,或者来源于系统需求;也可能来源于系统的规格说明书等;那么服务器的测试指标是什么呢,或者说服务器要测试什么呢,通过对服务器的
研究和参考的一些常见的服务器评测资料,我们给出以下测试指标:
文章来源于领测软件测试网 https://www.ltesting.net/