CODETEST嵌入式软件在线测试与分析工具在嵌入式系统开发中的应用

发表于:2008-02-02来源:作者:点击数: 标签:软件测试白盒测试嵌入式软件分析动态测试
摘要:嵌入式软件的应用与 开发 是当今计算机软件发展的一个热点。本文首先分析了在嵌入式系统开发中软件开发的重要性,接着分析了传统测试方式的缺点,并在此基础上介绍了AMC公司的CODETEST嵌入式软件在线分析与测试 解决方案 。 关键字: 嵌入式 软件分析

摘要:嵌入式软件的应用与开发是当今计算机软件发展的一个热点。本文首先分析了在嵌入式系统开发中软件开发的重要性,接着分析了传统测试方式的缺点,并在此基础上介绍了AMC公司的CODETEST嵌入式软件在线分析与测试解决方案

    关键字: 嵌入式 软件分析 软件测试 动态测试 实时 白盒测试

    引言:随着嵌入式技术的发展,嵌入式应用的不断增长以及嵌入式系统复杂性不断提高,要求嵌入式软件的规模和复杂性也不断提高,嵌入式软件的质量和开发周期对产品的最终质量和上市时间起到决定性的影响,嵌入式软件的开发、分析与测试成为了研究的热点。针对这一变化,本文提出了一种为嵌入式软件的开发、分析与测试特别设计的一种测试方法

    嵌入式软件分析与测试的重要性

    随着计算机硬件技术的进步和元件质量逐步提高,元件的集成量也大大增加,从而使嵌入式设备的硬件性能得到了极大的提高;与此同时,通过采用成熟的商用操作系统,使系统运行在一个高性能的、可靠的软件平台上,为实现各种大型的复杂的应用打下了良好的基础。面对系统复杂性的增加,自然需要功能强大、性能稳定的应用软件与之相适应。所以,在嵌入系统开发中软件的代码量也越来越大,电子类产品的代码量以每两年就翻一翻的速度增长。同时,系统又要求应用也要精简高效、稳定可靠,使软件的开发在整个系统开发中所占的时间也越来越长,软件的质量对产品的最终质量起到了决定性的作用。但是事实上由于软件的开发缺乏科学的管理手段,开发的软件得不到很好的测试与分析,所编写的程序没有得到有效的测试就交付给用户使用。那些没有运行过的代码带着潜在的危险交付到客户手中,经常会给用户带来巨大的经济损失、为产品供应商带来信誉上的损失,在一些特殊的领域甚至会危及人的生命安全

    综上所述,随着嵌入式系统的发展,我们迫切需要一种工具能够在软件开发的单板阶段、集成阶段、系统阶段等各阶段对嵌入式系统的软件进行实时在线的测试与分析,以保证系统的性能和可靠性

    市面上流行的测试工具大致分为纯软件的测试工具和纯硬件的测试工具(如逻辑分析仪和仿真器等),下面我们从原理上分析使用传统的测试工具对嵌入式软件进行分析和测试的优缺点。

    纯软件的测试工具

    纯软件的测试工具采用的是软件打点技术,在被测代码中插入一些函数,用这些函数来完成数据的生成,并上送数据到目标系统的共享内存中。同时在目标系统中运行一个预处理任务,完成这些数据的预处理,将处理后的数据通过目标机的网口或串口上送到主机平台。这一切都需借助于用户的目标处理器完成。通过以上过程,测试者得以知道程序当前的运行状态。 从上述分析可知,纯软件的测试工具的测试原理有两个必然存在的特点——插桩函数和预处理任务。

    由于插入插桩函数和预处理任务的存在,使系统的代码增大,更严重的是这些代码会对系统的运行效率有很大的影响(超过50%)。函数本身要有它的实现过程,它要完成数据的生成和暂存,而且这些函数在它的实现过程中还可能被其他优先级更高的中断程序所中断,预处理任务需要占用目标系统CPU处理时间、共享内存和通信通道完成数据的处理、数据的上送。由于这些弊端的存在,当采用纯软件测试工具对目标系统进行测试时,用户目标系统是在一种不真实的环境下运行的,我们所捕获的数据也是不够精确。

    所以采用纯软件的测试工具缺乏性能分析,它不能对用户目标系统中的函数和任务运行的时间指标进行精确的分析。

    当做覆盖率分析的时候,因为要大量打点,而打点多于200时就会影响系统的运行,所以只能做单元覆盖率分析且单元的程序量不能太大。

    它不能对内存的动态分配进行动态的观察。

    纯硬件的测试工具

    纯硬件工具通常用于系统的硬件设计与测试工作。当它用于软件的分析测试时,却无法满足用户的基本要求。

    以逻辑分析仪为例,逻辑分析仪是通过监控系统在运行时总线上的指令周期,并以一定的频率捕获这些信号,通过对捕获的信号进行分析来判断程序当前运行的状况。由于它使用的是采样的方式,难免会遗失一些重要的信号;同时,分析的范围也及其有限。以性能分析为例,当使用某种逻辑分析仪进行性能分析时,我们只能以抽样的方式,同时对80个函数做性能分析,得到一个不精确的结果;而若使用CodeTEST,我们可以同时对128000个函数做性能分析,得到一个精确的结果。

    当对程序做覆盖率分析时,因为硬件工具是从系统总线捕获数据的,如当CACHE打开我们会采用指令预取技术,从外存中读一段代码到一级CACHE 中,这时逻辑分析仪在总线上监视到这些代码被读取的信号,就会报告这些代码已经被执行了,但实际上被送到CACHE中的代码可能根本没有被命中。为了避免这种误差必须把CACHE关闭掉,而CACHE关掉就不是系统真实的运行环境了,有时甚至会由于CACHE关闭而导致系统无法正常运行。

    而仿真器通常采用内存标记技术,它所关心的也是处理器从外存的代码段读取数据的情况。所以也无法在CACHE打开的方式下工作。而它的性能分析也是以仿真器的时间系统以抽样的方式进行的,也无法时实对系统进行真实的分析。所以我们所得出的结果也是不精确的。

    纯硬件工具根本不能对内存分配进行分析和检查的能力。

    CodeTEST对软件分析测试功能的实现原理

    AMC公司吸取了纯软件测试工具和纯硬件测试工具的优点,并对它们进行改善和提升后推出了CodeTEST。

 

    由上图我们可以看出,程序员编写的源代码首先会通过CodeTEST的编译驱动器调用原编译器对进行预编译,然后CodeTEST的插桩器(源代码分析程序)对预编译好的源代码进行自动的插桩,即在需要插桩的关键位置写入一条赋值语句(如:amc_ctrt=0x74100009),并把插入的标记送入一个数据库文件中生成一个符号数据库暂存起来,以备为以后分析时调用。然后,CodeTEST的编译驱动器又会调用原编译器对插桩后的代码进行编译生成可执行目标代码送到目标板上运行。当程序在目标系统运行到插桩点的位置时,目标板的控制总线和地址总线上会出现相应的控制信号和地址信号。当 CodeTEST的辅助硬件(信号捕获探头)从控制总线和地址总线上监视到符合以上条件的信号时,CodeTEST会主动地从数据总线上把数据捕获回来送到CodeTEST的内存中暂存并对这些数据进行预处理,然后将预处理后的数据通过局域网送到工作平台上。通过与前面生成的符号数据库中的数据进行比较,我们就此得知当前程序的运行状态,借此完成对嵌入式软件的性能分析,高级覆盖率分析,内存分析和大容量的代码跟踪。

    由此可知,CodeTEST是一个硬件辅助软件的测试与分析工具,它一方面吸取软件打点技术,并对这种技术进行了改善,纯软件工具插入的是一个函数,而CodeTEST插入的是一条赋值语句,它在汇编级也是一条语句,所以它执行的时间非常短,同时避免了被其它的中断所中断,所以它对目标系统的影响非常小(1%-15%)。另一方面, CodeTEST从纯硬件的测试工具那里吸取了从总线捕获数据的技术并且对它进行了改善,CodeTEST不再是采样的方式,它是通过监视系统总线,当程序运行到插入的特殊的点的时候才会主动的到数据总线上把数据捕获回来,借此,在同样的处理能力下,CodeTEST可以做到精确的数据观察。

    CodeTEST强大的测试分析功能。

    由于CodeTEST对软件打点技术和从总线捕获数据进行了改善和提升,正是这种原理上的优势,所以CodeTEST具有强大的性能分析、内存分析、高级覆盖率分析和代码跟踪功能。

    1.强大的性能分析:CodeTEST能同时对128000个函数和1000个任务进行性能分析,可以精确的得出每个函数或任务执行的最大时间、最小时间和平均时间,精确度达到50ns;能够精确的显示各函数或任务之间的调用情况,帮助你发现系统瓶颈、优化系统和提升你的系统性能。

    2. 强大的覆盖率分析。 CodeTEST可以在系统真实的环境下,可以从单元级、集成级、系统级以及产品终端现场阶段进行嵌入式软件的分析与测试。帮助测试工程师掌握当前的测试覆盖率数据,指导测试用例的编写。

    3. 强大的内存分析。CodeTEST可以动态追踪内存分配,报告内存出错和相应的原始数据。他不仅可以在程序运行时报告为每条语句分配多少字节的内存,而且他可以鉴别20多种内存分配的错误。例如:CodeTEST可以捕捉“释放空指针(freeing a null pointer)”一样常见的程序错误,报告发生错误的函数和代码行帮,助你尽早发现动态内纯泄漏,而无需到系统崩溃时。

    4. 强大的代码跟踪分析。CodeTEST提供400K的追踪缓冲空间,能追踪150万行的源代码。我们可以设置触发器来追踪自己感兴趣的事件,可以显示运行过程中程序运行的实际情况,帮助你查找程序的BUG所在。

    结束语

    随着后PC时代的到来,嵌入式应用将会迅速增长,应用的复杂性也急剧增加,传统的软件分析和测试手段已不能满足嵌入式软件分析测试的基本要求,与此相比,AMC公司以其公司的几项专利技术,为我们提供的针对嵌入式软件分析测试的解决方案,为广大的嵌入式系统开发者提供了新的技术手段,使我们可以以全新的视角审视我们原有的开发过程,发现一切可以变的如此快捷、简单。

原文转自:http://www.ltesting.net