微信读书排版引擎自动化测试方案(2)

测试同学使用持续集成工具编译打包，得到排版引擎修改后的 App 安装包；然后在两台设备安装排版引擎修改前、后两个版本的 App，同时打开需要测试的书籍，翻页，对比，通过肉眼观察排版差异是否符合预期。

人工测试方法比较耗时，需要打开每本书，一页一页地翻页、对比，而且无法覆盖很多书籍，存在漏测的风险。

另外，通过人眼检查两台设备上的排版结果有没有差异，是很困难的任务，一是容易疲惫导致判断失误，二是对细致的排版变更（如第二个例子）很难判断是否符合预期。

为什么需要自动化测试？

前面提到，人工测试费时耗力，且容易漏测。

此外，排版需求的特点是细节多、变更快，且修改影响范围大，全网书籍上万本，无法一一验证。一旦出错，直接影响口碑。这些因素都增加了人工测试的工作量和压力。

除了精细化的排版需求会对排版引擎代码做修改，在日常的维护中，也会重构排版引擎、修改排版引擎相关但不影响排版结果的代码。每次重构、修改后，也会交给测试同学验证此次修改对排版结果没有影响。由于人工测试比较耗时、无法一一验证，每次重构排版引擎代码压力很大，轻易不敢改动。

还有一种情况，是在开发其他需求、修复缺陷时，意外地导致排版结果受影响。这种错误一旦发布到现网，后果很严重。

所以，把人工测试流程自动化十分有必要。自动化以后，可以大大减少人工测试的时间，同时方便开发同学自测。开发同学对排版引擎也可以大胆重构、持续改进代码质量。最终，达到确保排版引擎质量的目的。

如何自动化测试？

首先，我们要分析一下，在人工测试中，主要有哪些步骤？每个步骤是否能自动化？

在人工测试中，对每次变更的测试，有步骤如下：

1. 需要把变更前、变更后的 App 包安装到两台设备
2. 打开 App，登录，把要测试的书购买、加入到书架
3. 打开要测试的书，设置排版偏好，翻页，用眼睛查看屏幕上的排版结果，对比屏幕中的排版结果是否有差异
4. 如果有差异，根据需求判断差异是否符合预期

其中步骤 1、2 利用自动化测试工具是比较容易完成的。步骤 3 借助算法能够使其自动化，会在后面详细展开。步骤 4 自动化的难度比较大，可能需要借助非常高阶的人工智能完成，我们把这个步骤交给测试和开发同学。

原文转自：http://wereadteam.github.io/2016/08/23/Typesetter/