CNAS-CL01-A019:2018文件《检测和校准实验室能力认可准则在软件检测领域的应用说明》中对测试工具的要求一共有4条:a.保证测试环境中的所有测试软件应为正式软件或与客户约定的软件,且版本正确。b.正式软件指按照程序得到验证、通过批准的货架软件和经同行专家技术鉴定的非货架软件。c.应对测试工具软件进行版本升级和配置控制,防止误用。d.有指标要求的测试工具在投入使用前应对其使用范围进行检查。
认可准则中明确要求,测试工具需要是按照程序得到验证、通过批准的货架软件和经同行专家技术鉴定的非货架软件,很多人都会疑问,什么是货架软件呢?这里的货架软件指“off-the-shelf software”,也可理解为“现成的”,“买来即可用的”软件。
众所周知,软件测试领域可以用来申请CNAS实验室的测试工具有LoadRunner和 JMeter,接下来我们就一起来对比一下这两款工具的异同以及选择这两款工具我们各需要付出哪些成本。
首先,从运行原理来看,这两款工具都是通过中间代理,监控和收集并发客户端发现的指令,生成脚本,发送到应用服务器,监控服务器反馈的结果,都支持通过分布式中间代理获取更多的并发用户数。
JMeter是开源工具,不需要付出采购成本,但是安装部署复杂,很多功能都要通过借助额外的插件来实现。在后续的使用中,对操作人员的专业性要求高。在开展测试项目时,需要额外的人力去做测试脚本开发调试、测试场景配置运行等工作,工作量和人力成本大。
如果决定使用开源测试工具进行软件测试CNAS资质申请,为了避免测试机构对开源软件的修改导致的测试结果问题,需要测试机构提供开源测试工具产品与商业测试工具产品的比对证明,证明两者测试结果相一致。这项工作有一定的难度,后续资质复审时也可能需要不断回应专家的质疑。
LoadRunner是商用软件,需要一定的采购成本。因为是商用软件,安装、部署和使用起来会相对比较简单,支持的通信协议和开发技术会更全面,不会出现因被测软件使用技术比较复杂而无法测试的情况。
同时,商用软件比较稳定,在大并发量测试场景下,运行更加稳定,结果也更加准确,可以有效规避因为工具本身造成的误差而导致的评审专家的质疑。
简言之,使用开源软件可以节省一部分购买软件的费用,但是认证过程中需要一些额外的工作量,认证失败的风险较高;使用商用软件需要一定的采购成本,可以帮助实验室减少一些不必要的工作,降低因工具而导致的认证失败。针对商用工具而言,不同的并发数、不同的部署方案价格都有所不同,需要了解不同方案价格区间的朋友可以私信我获取。
(原创内容,严禁转载,转载必究)