相信实践:最佳检验方式
众所周知,成熟的企业从不相信任何“国际通用标准”,而是花相当精力,比如预算的5%,使用自己的应用来测试系统,从而决定选型。“国际通用标准”的度量可以作为参考值,而不应作为必要条件。尤其是一定要弄清这些流行度量有什么含义,是在什么样的系统环境中测得的,以及基准程序是否符合企业真实的业务流程和运作模式。
下面就是三种不同的检测模式。
在真实环境中运行实际应用
这是最理想的方式。要求制造商或系统集成商配合将系统(含平台、软件和操作流程)在一个 实际用户点真正试运行一段时间。这样,用户不仅能看到实际性能,也能观察到系统是否稳定可靠、使用是否方便、服务是否周到、配置是否足够、全部价格是否合理。
使用用户定义的基准程序
如果第一种方式不可行,用户可以定义一组含有自己实际应用环境特征的应用基准程序。业内有两个典型的例子:其一是,近年来由于3层应用模型的风靡,SAP SD基准获得了众多厂商和用户的认可,于是在很多地方都能看见对SAP测试数据的引用;其二是,国家税务总局曾经开发自己的基准程序,以帮助税务系统进行服务器选型。这种方式在中国尤其重要,因为中国的信息系统有其特殊性。
使用通用基准程序
如果前两种均难实行,那么使用如TPC-C之类的通用基准程序未尝不可。但用户应当尤其注意——实际应用是否与基准程序相符?绝大多数基准程序都是在美国制订的,而中国的企事业单位与美国的运作方式常常不一样,在使用TPC-C时,用户应该清楚地知道:自己的应用是否符合批发商模式?事务请求是否与测试模式近似?对响应时间的要求是否那么高?如果都不是,则tpmC值的参考价值就不太大了。那么不妨看看其他的更合适的测试指标,例如SPECweb2005等。
■ 突出重点
SPEC关注CPU和Web
与TPC体系注重在线处理能力和数据库查询能力不同,SPEC体系中最广为人知的两个子项,是衡量CPU、内存性能的CPU2000和Web服务器性能的web2005。
除了TPC家族,SPEC家族也是广为人知的一大体系。SPEC指标体系由Standard Performance Evaluation Corp.制定,目前主要包括针对CPU性能的SPEC CPU2000(已有CPU2006,但尚无数据)、针对Web服务器的SPECweb2005、针对高性能计算的SPEC HPC2002与SPEC MPI2006、针对Java应用的jAppServer2004与JBB2005以及对图形系统、网络和邮件服务器的测试指标。
其中CPU2000和web2005两类是被引用最广泛的指标。