软件测试体系建设是大型软件开发组织提高软件产品质量的必经之路,也是软件测试实验室建设的基础。通常来讲,软件测试体系建设可以从横向的软件测试的管理体系和纵向的技术体系两个方面入手,本文我们就从这两条思路入手,与大家分享软件测试实验室软件测试的体系建设。
软件测试管理体系建设
软件测试管理体系建设这部分,我们可以参考ISO17025去建立相应的制度和规范,IS017025标准是由国际标准化组织ISO/CASCO制定的实验室管理标准,前身是ISO/IEC导则25:1990《校准和检测实验室能力的要求》。通过参考这部权威标准可以帮助我们快速实现管理体系的科学性和规范性。
一、人员安排
1. 法人单位及其法定代表人的授权书, 保证检测工作质量的声明和承诺;
2.最高管理者的任命文件,关键人员的任命书,包括技术管理层人员或技术负责人 ( 即管理者代表) 、质量主管、各部门负责人、监督员、内审员的任命文件;
3.有关人员的授权书, 包括检测报告批准人、提出“意见和解释 ”者、负责分包者、特殊类型样品检测者 、特殊设备操作者、实验室公章使用保管员授权书;
4.准予上岗任职书, 包括检测员、抽样员、样品管理员、资料档案管理员、仪器设备及其计量检定管理员、电脑程序编制者以及安全健康环保管理员。
5.人员的任职、授权、任命的撤换、调整文件;实验室的授权和其他资质文件证书。
6.人员培训相关记录: 人员一览表 ( 包括长期使用的或聘用的检测和管理两个方面的任岗位) ;员工培训规划、员工培训年度实施计划, 年度培训总结报告;
7.员工集体、个人在实验室内外学习培训的记录, 以及考绩或所获证书登记表;
8.员工技术档案: 每个员工的技术履历表、学历和技术职称证件( 复印件) 、获准上岗岗位和( 或) 任命、授权职务资格登记表;获证获奖复印证件;
9.上岗考核( 应知应会等) 记录文件。
二、管理体系
1.质量手册各版本的正本;
2. 程序文件目录及各版本的正本;
3.作业指导书目录及各版本的正本, 适合时可分为: 制样规程、检测细则、仪器设备操作规程;
4.规章制度、公章使用管理制度、检验收费制度、三废处理制度以及实验室服务标准、员工守则、检测完成时限规定等;
5. 实验室认可有关标准、准则有效版本;
6.质量记录、质量计划目录及各版本有效正本的空白样张。
三、文件控制
1.受控文件发放 / 回收 /销毁记录;
2.受控文件变更 /修改 / 增补记录;
3.受控文件停用 /启用 / 替换记录;
4.文件定期评审记录;
5.磁盘、光盘目录;
6.技术书刊 、工具手册目录。
四、要求、标书和合同的评审
1.常规例行的检验委托合同;
2.大宗客户的长期持续检验委托总合同或协议书, 及其评审记录、合同、修改记录;
3.特殊的 ( 新的、复杂的、重要的、先进的 ) 检验委托合同书, 及其评审记录, 与客户讨论的记录, 再评审记录, 以及合同修改记录、通知书;
4.口头委托检验记录。
五、检测和校准的分包
1.分包检验:合格分包方的名录及其注册资料,分包协议书, 在有分包检验项目任务时, 即时发出分包检验委托函件, 分包方出具的检测报告。
2.被分包检验: 其他实验室分包给本实验室的分包协议书, 发来的分包检验委托函件, 本实验室出具的检测报告、副本及其整个检验过程的记录原件。
六、服务和供应品的采购
1.合格服务方: 计量检定 / 校准、建筑装修, 设备维修, 环境条件测试等机构的名录及资质证明文件, 服务机构的评价记录。
2.供应品的采购、验收:供应品和消耗品合格供应商名录及其资质证明文件;
3.供应品和消耗品的采购计划、审批记录;
4.供应品、试剂、消耗材料的符合性检查证实记录;
5.重要物品,供应商的评价记录。
七、服务客户
1.服务记事: 陪同客户合理进入相关检验场所监视的记录, 帮助客户打包, 发送验证用检品的记录;向客户对检测结果作出意见和解释的谈话记录。
2.客户访问: 征询客户意见的调查表反馈函件, 对客户意见汇总小结。
八、投诉
1.投诉( 书面、口头) 记录, 调查处理记录及其纠正/纠正措施记录。
九、不符合检测和/或校准工作的控制
1.差错的发现、识别、建议处理、有效性评审记录;
2.纠正措施记录( 适用时) , 检测结果差错统计记录( 表) 。
十、纠正措施
1.不符合项纠正措施记录 ( 原因分析、选择、实施、监控、验证有效性) , 相应的文件修改记录, 附加内审 ( 适合时 )记录。
十一、预防措施
1.潜在不合格项目的调研取证、分析、确定记录;
2.预防措施计划表, 预防措施实施计划、验证记录, 文件修改和提交管理评审的记录。
十二、记录的控制
1.记录 ( 档案) 卷宗目录及标识;
2.会议记录、研讨类会议记录。
十三、内部审核
1.年度内审计划表、内审实施计划表、内审通知书;
2.内审检查表及记录;内审首次 / 末次会议记录;
3.内审缺陷 /不符合项报告;
4.内审的总结报告及其分发登记表, 交付管理评审记事;
5.制订的纠正措施及其验证记录;
6.修订的文件( 适合时) ;
7.客户通知书( 需要时) 。
十四、 管理评审
1.管理评审日程计划表、评审实施计划表、评审会议通知;
2.评审前输入的信息材料;
3.评审会议记录、总结报告及其发放登记表;
4.评审结果输入计划系统的确认记录;
5.改进措施的检查、督促验证记录;
十五、设施和环境条件
1.环境条件技术指标及控制措施一览表;环境条件监控记录;
2.实验室平面分布图( 最好有安全通道、水电气管线总体走向、设置的灭火器材点等)
3.安全健康、环境检查计划与记录 。
十六、检测和校准方法及方法的确认
1.承检项目、参数目录及其标准( 有效版本) 及发布的修改号文件;
2. 基础标准、通用标准规范目录及其有效版本;
3.与承检项目相关的国外先进的、国际的检测方法标准目录及有效版本;
4.作废但有保存价值的标准;
5.企业标准;
6.本实验室制订的检测方法及其计划、方案、文献总结、制订过程中的记录、总结, 鉴定确认的材料;
7.非标准检测方法( 含编写的文件及其确认的材料);
8.检测附加细则 ( 对检测方法的补充说明) 目录及其文件;
9.测量不确定度的评价估算记录。
十七、 设备
1.设备总台帐( 按计量仪器、非计量仪器分列 ) ;
2.设备计量校准: 周期检定计划表, 年度周期检定实施表及其记录;
3.检定证书、测试( 校准) 报告;
4.本实验室对检定证书 / 测试 ( 校准) 报告的核查、评定记录;
5.设备档案: 主要的、贵重的、必须的检测、抽样、制样设备档案, 按每种单独立卷;
6.设备期间核查: 核查计划表, 核查操作规程, 核查记录, 核查年度总结;
7.脱离实验室直接控制、返回后设备的功能和校准状态的核查记录。
8.内部校准仪器: 内部规程及记录( 适合时) 。
十八、测量溯源性
1.有标准物质一览表及其证书、使用记录;
2.期间核查计划日程、方法、核查记录
3.参考标准一览表及其校准证书、使用记录;
4.期间核查计划日程、程序及记录( 适合时) 。
十九、抽样标准
1.抽样标准( 规范) 目录及其有效版本
2.特殊、典型抽样的规定和记录;
3.客户认可的抽样程序, 要求偏离、增删时的记录, 及其由此对相关人员的通知书( 适合时) 。
二十、检测和校准物品的处置
1.检测物品( 样品 ) 接收、入库、领用、检毕退库、销毁或归还客户;
2.对物品( 样品 ) 存在疑问与客户对话、妥善处理的记录;
3.制样规程( 适合时) 。
4.样品环境条件监控: 样品室、柜的环境条件监控记录
5.样品保存环境条件的监控记录( 适合时) 。
二十一、检测和校准结果质量的保证
1.比对/能力验证计划, 实施结果与评价记录,重检记录;
2.相同/不同方法重检、保留样再检的计划, 实施结果与评价记录;
3.质控图目录及所绘制的检测参数质控图;
4.分析、评价记录;
5.采取的纠正活动记录( 适合时) 。
二十二、结果报告
1. 检测报告修改、补充、更正以及更正重发的检测报告副本及其声明;
2. 收回的原发出的检测报告( 适合时) 。
3. 检测报告: 按照检验类别( 监督抽检、验货检验、送样委托检验、仲裁检验、质量鉴定等) 、任务来源, 按年度分开列卷。归档时宜以每个( 类、批) 检测样品为单元, 即依照检验顺序, 将任务或委托检验合同、收样单或抽样单 、样品入库检查编码单、检验任务流转单( 或检品卡或指令单) 、检验原始记录( 含作废、改变检验结果的) 、检测报告副本合并装订, 适合时还应包含制样记录单。
软件测试技术体系建设
接下来我们继续介绍第二部分,软件测试技术体系建设。在该部分,我们可以建立完善、全面科学的软件测试作业指导书来实现软件测试技术水平的提升。
作业指导书的结构、 格式以及详细程度应当适合于组织中人员使用的需要,并取决于其描述活动过程的复杂程度、使用的方法、实施前的培训时间与深度, 以及具体操作执行人员的技术水平、 技能和资格等。
首先我们需要建立一个整体的软件测试作业指导书,指导软件测试工程师掌握整个测试流程。在下一个层级,我们需要针对性能测试、功能测试等分别创建相应的作业指导书,进一步介绍不同的测试种类的操作流程。最后,需要根据不同的软件产品特性分别制作软件测试操作指南。软件测试操作指南我们可以参照GB/T25000《系统与软件工程 系统与软件质量要求和评价(SQuaRE)》标准去建立。
GB/T 25000.10中明确的系统与软件质量模型为GB/T 25000.51提供了依据,模型主要包含:软件质量模型:功能性、性能效率、兼容性、易用性、可靠性、信息安全性、维护性、可移植性八大维度。
GB/T 25000.51也给出了就绪可用软件的测试要求和评价细则。明确了:1、质量要求:产品说明质量要求、用户文档集质量要求、软件质量要求(功能性、性能效率、兼容性、易用性、可靠性、信息安全性、维护性、可移植性);2、测试文档集要求;3、符合性评价细则。
功能性
软件产品的功能性要求:在指定条件下使用时,产品或系统提供满足明确和隐含要求的功能的程度。主要包含四个方面:完备性、正确性、适合性、依从性。
完备性:软件是否实现了预期的所有功能。即需求规格说明书或其它技术说明书中有关软件功能需求在软件中被完整实现的情况,包括明确的功能和隐含的功能。如,OA系统的用户管理功能,即使需求中没有明确要求,实际开发完成的软件也需要有用户管理功能。
正确性:软件的各功能运行是否正确、精度是否符合要求。即各功能的运行结果、精度是否与预期的结果相符,包括软件功能性的限制条件。如:业务规则的限制、字符串长度的限制、数字精度的限制、数据格式的限制等要求。
适合性:软件的各功能是否适合用户的要求,按照用户的预期来运行,是否只提供必要的功能操作步骤。即软件的各功能是否完全按照需求规格说明书、用户操作手册的规定运行的。如,查询结果要显示信息1、2、3,且按照时间顺序排序等。
依从性:软件的功能是否符合相关标准、法规的要求。如,公积金中心所建设的公积金综合服务平台,相关功能需要符合住建部《住房公积金综合服务平台 建设导则》的要求。
GB/T 25000.51标准中,对功能性的测试要求有以下几条:
5.3.1.1 ---RUSP安装后,其功能能否执行可以验证,如:删除功能,执行删除时有相应的删除确认信息,并且删除后,有相应的查询功能可以验证已经成功删除等。
5.3.1.2 ---在给定的限制范围内,用户文档集中涉及的所有功能都应是可执行的,限制包括业务规则的限制、字符串长度的限制、数字精度的限制、数据格式的限制等要求。
5.3.1.3---应针对产品说明所引用的所有需求文档,验证RUSP是否满足全部要求。
5.3.1.4 ---RUSP所提供的功能不应自相矛盾,且不应与产品说明和用户文档集中相关描述相矛盾。包括各项功能操作、输入/输出限制条件、界面显示、数据、相关描述、术语等。
5.3.1.5 ---最终用户按用户文档集的指导对软件进行的控制与操作,与软件实际的运行行为应是一致的。
如:按照用户文档集给出的参数配置指导,用户进行参数调整后,软件应该能够成功完成相应的调整。
性能效率
软件产品的性能效率与在指定条件下所使用的资源量有关,主要包括:时间特性、资源特性、容量、依从性四个方面。首先我们先来看一下时间特性。
时间特性
时间特性指的是产品或系统执行其功能时,其响应时间、处理时间及吞吐率满足需求的程度。
主要体现在软件功能操作的响应时间、处理时间、吞吐率是否符合预期的要求。即响应时间、处理时间、吞吐率是否符合需求规格说明书中的要求。
响应时间是指用户发起一个请求开始,到接收到处理结果所经历的时间。处理时间是服务器端处理请求的时间。
吞吐率是指单位时间内系统处理的客户请求的数量。可用请求数/秒或页面数/秒、访问人数/天或处理的业务数/小时、字节数/天等单位来考察网络流量。
资源利用性
资源利用性指的是时间特性指的是产品或系统执行其功能时,所使用资源数量和类型满足需求的程度。
主要体现在服务器端的资源利用率是否符合预期要求。一般是指服务器硬件资源利用率,包括:CPU利用率、可用内存、磁盘I/O、带宽等指标。也可指相关软件的资源利用率,如数据库的数据缓冲命中率等。
资源利用率指标并不是越高越好,应保持一定余量;同时也不是越低越好,这样也造成资源浪费。
容量
容量指的是产品或系统参数的最大限量满足需求的程度。软件的最大容量是否符合预期的要求,包括软件所能支撑的最大并发用户数、可存储的最大数据量、数据处理容量、最大的交易吞吐量等。交易吞吐量,如,TPS达到100笔/秒;数据处理容量,如,大数据平台每秒处理的数据量达到10万条。
依从性
依从性指的是产品或系统遵循与性能效率相关的标准、约定或法规以及类似规定的程度。简而言之就是软件功能运行效率是否符合相关标准、法规的要求。
兼容性
软件产品的兼容性测试指的是在共享相同的硬件或软件环境的条件下,产品、系统或组件能够与其他产品、系统或组件交换信息,和/或执行其所需要的功能的程度。主要包括三个方面:共存性、互操作性和依从性。
首先我们一下看一下共存性。共存性是在与其他产品共享通用的环境和资源的条件下,产品能够有效执行其所需的功能并且不会对其他产品造成负面影响的程度。通俗点讲,就是被测软件和其他软件在同一个软硬件环境下是否可以共存(或者说相互不影响)。如,我们的OA系统与CRM系统部署在同一台服务器上,两者可以共存运行。
互操作性指的是两个或多个系统、产品或组件能够交换信息并使用已交换的信息的程度。也就是软件是否可以与其它系统或组件进行信息交换,并使用交换的信息进行正常的信息处理。包括:数据格式的可交换性,如,软件支持.xlsx、.docx文件的导入导出等;数据传输的交换接口:在与其他软件进行通信时,交换接口的功能是否能正确实现,如:OA系统与CRM系统可交换客户信息等。
依从性指的是产品或系统遵循与兼容性相关的标准、约定或法规以及类似规定的程度。也就是软件是否符合相关标准、法规的兼容性要求。
GB/T 25000.51质量模型中,对软件产品兼容性的要求有:
5.3.3.1 --如果用户能够安装软件产品,则应能遵循安装文档的指导,如设置平台或系统环境参数等,使得RUSP的已安装组件能够兼容当前的安装环境。
5.3.3.2 --RUSP的兼容性特征应与用户文档集和产品说明定义的一致。
5.3.3.3 --如果RUSP保持兼容性需要提前配置环境和参数,则需要在用户文档集中明确说明。如,安装所需的操作系统版本,或者数据库的配置信息和参数设置等。
5.3.3.4 --用户文档集中应指明兼容性类型(如共存性、互操作性),以及兼容性涉及的功能、数据或流程。
5.3.3.5 --RUSP应明确负责兼容性的组件。
5.3.3.6 --如果用户能够安装软件,应在安装前明示安装对组件有共存性的约束条件,如:安装杀毒软件前需要卸载其他杀毒软件的提醒说明。
易用性
软件产品的易用性指的是,在指定的使用周境中,产品或系统在有效性、效率和满意度特性方面为了指定的目标可为指定用户使用的程度。包含:可辨识性、易学性、易操作性、用户差错防御性、用户界面舒适性、易访问性、依从性七个方面。
可辨识性指的是软件的各功能及界面中的输入输出项是否易于识别。包括:软件功能界面文字描述完整清晰,不含不易理解的词语,便于用户辨识软件是否适合他们的要求;软件提供产品介绍演示功能,便于用户辨识软件是否适合他们的要求。
易学性指的是软件功能操作是否简单易学,包括:指导性,软件提供在线帮助、操作指导视频等,指导用户学习使用;输入字段的默认值,功能操作给出输入字段默认值,有助于初学者全面、快速地学习 如何操作产品;差错信息的易理解性,软件功能操作的错误提示信息给出差错原因及解决方法;用户界面的自解释性,软件功能操作界面中给出清晰的步骤指示。
易操作性指的是软件功能是否易于操作,操作是否可控,包括:消息明确,软件功能操作的提示信息、给用户传达的结果或指令消息明确,指导用户使用;可定制性,用户可根据需要定制功能、定制界面信息;
撤销操作,对于关键操作可以撤销;输入设备支持性,可键盘、鼠标、语音输入。
用户差错防御性指的是软件有相应的措施来避免用户进行错误的操作,包括:抵御误操作,在执行无法撤销并且会产生严重后果的操作之前要求进行确认;用户连续提交订单,软件阻止用户再次提交;输入差错纠正:阻止用户的输入差错,如,输入不正确的数据类型、超长的字符、身份证号位数不对、截止时间早于起始时间等;与可靠性中的容错性相比较,用户差错防御性更注重于界面功能对于防止用户差错。
用户界面舒适性指的是软件功能操作界面是否让用户感到舒适,包括:功能界面布局整理、合理;界面颜色、字体大小合适;界面字体、图片清晰,没有乱码。
易访问性指的是软件是否易于各种用户群体访问,包括:特殊群体易访问,如认知障碍、生理缺陷、听觉/语音障碍和视觉障碍的用户;支持的语种充分性,支持多种不同的语言时,方便不同语种用户访问。
依从性指的是软件的功能是否符合相关标准、法规对易用性方面的要求。如医院的HIS系统,软件功能操作需要符合医疗行业相关规范的易用性要求。
在实际操作中,我们可以这样理解:
5.3.4.1 ---用户可以通过查阅产品说明,或参照用户文档集试用一次软件后,就能判断产品或系统是否满足其要求。
5.3.4.2 ---RUSP的出错消息、提示信息、确认信息、警告和执行结果的反馈信息都应是易于理解的,如借助采用专业的术语,提供图形表示、背景信息、以及帮助功能等方式。
5.3.4.3 ---用户通过RUSP的每个出错消息,参考用户文档集,就可以明确如何改正差错,及向谁报告差错。
5.3.4.4 ---软件提供的消息应是清晰、无歧义、易于理解的,这里的消息包括确认消息、询问、警告、出错信息等。
5.3.4.5 ---RUSP所有输入、输出的格式应是规范的,清晰、易理解。
5.3.4.6 ---当执行具有严重后果的功能,该操作应该是可撤销的,或者有明显的警告和提示确认信息。如数据的删除和改写、中断一个数据的删除和改写、中断一个很长的处理操作等。
5.3.4.7 ---通过人机界面、在线帮助、查阅用户文档集等手段,用户可以学习使用产品的功能。
5.3.4.8 ---执行某项功能时,当响应时间超出规定时间或者预期限度时,RUSP应有提示信息告知用户。如B/S结构的软件,由于网速问题使用户的请求无法得到响应时,会有一个连接超时的提示信息。
5.3.4.9 ---与软件相关的元素应该带有产品标识,两种以上元素还需要带有标识号或文字。这里的元素可以是软件的载体,如光盘、软件包等。
5.3.4.10 ---用户界面舒适性要求。如,RUSP在外观上应科学合理、令人愉悦,感觉舒适。
可靠性
可靠性指的是系统、产品或组件在指定条件下、指定时间内执行指定功能的程度。软件产品的可靠性包括:成熟性、可用性、容错性、易恢复性和依从性。
成熟性指的是系统、产品或组件在正常运行时满足可靠性要求的程度。也就是软件在各种正常运行的情况下是否可靠运行,包括:大负载压力情况下;大数据量下。
可用性指的是系统、产品或组件在需要使用时能够进行操作和访问的程度,通俗来讲就是软件是否连续可用,如:系统可用性,如7*24小时;平均宕机时间,如,全年宕机时间小于1小时。
容错性指尽管存在硬件或软件故障,系统、产品或组件的运行符合预期的程度。通俗讲就是软件在遇到软硬件故障时,有相应的容错措施来避免软件运行失效,包括:硬件故障,如,服务器宕机、断电、断网等,硬件故障恢复后,软件不能出现运行失效现象;软件故障,如,软件处理异常输入数据,不能出现运行失效的现象。
易恢复性指在发生中断或失效时,产品或系统能够恢复直接受影响的数据并重建期望的系统状态的程度。也就是软件在出现失效后是否可以恢复原有的正常状态,包括:平均恢复时间,系统宕机后的恢复所需时间长短,如20分钟;数据备份完整性,定期备份的数据项是否完整。
依从性指产品或系统遵循与可靠相关的标准、约定或法规以及类似规定的程度,也就是软件的功能是否符合相关标准、法规对可靠性方面的要求。
GB/T 25000.51-2016标准中对可靠性的要求有:
实际执行测试的过程中,我们可以这样去理解:
5.3.5.1 ---软件的可靠性表现应与用户文档集所述的可靠性特征一致,包括成熟性、可用性、容错性、易恢复性及可靠性的依从性等。
5.3.5.2 ---RUSP对引起系统失效或数据丢失等差错的处置,应与用户文档集和产品说明一致,如用户文档集所述的因系统长时间无响应进行中止操作时,提供数据恢复功能,以防止数据丢失。
5.3.5.3 ---软件在用户文档集明示的限制范围内使用时,即使容量达到或试图超出规定极限时,以及当用户执行错误操作或不正确的输入时,也不应出现数据丢失。
5.3.5.4 ---在输入无效数据时,软件应有错误提示或警告,并拒绝接受,如手机号码中输入了文字。
5.3.5.5 ---发生致命性错误,导致中断或失效时,软件应能自行恢复,或者提供易理解的提示信息指导用户处理并完成系统恢复。如关闭系统、备份数据后重启等。
信息安全性
信息安全性指的是产品或系统保护信息和数据的程度,以使用户、其他产品或系统具有与其授权类型和授权级别一致的数据访问度,主要体现在以下几个方面:保密性、完整性、抗抵赖性、可核查性、真实性、依从性。
保密性指的是产品或系统确保数据只有在被授权时才能被访问的程度。也就是软件的数据是否只有被授权的用户进行访问,包括:访问控制性,设置访问控制矩阵,控制用户对信息或数据的访问;用户权限遵循“最小权限原则”等;数据加密正确性,是否按照需求规格说明中的要求, 对数据项进行了加密处理,包括数据传输、数据存储;加密算法的强度,是否采用了不安全的加密算法,如DES等。
完整性指的是系统、产品或组建防止未授权访问、篡改计算机程序或数据的程度。也就是软件是否可以防止数据被篡改,包括:数据传输完整性,使用散列算法对传输数据进行加密;数据存储完整性,采用关系型数据库保存数据,比如Oracle数据库,增加数据完整性约束,如唯一键、可选值、外键等;实现事务的原子性,避免因为操作中断或回滚造成数据不一致,完整性被破坏。
抗抵赖性指的是活动或时间发生后可以被证实且不可被否认的程度,也就是软件的功能操作是否具有抗抵赖性,包括:使用数据签名,关键的功能操作是否采用使用了数字签名。
可核查性指的是实体活动可以被唯一地追溯到该实体的程度。可以这么理解:软件的功能操作是否可以被唯一的追溯,包括:用户操作日志,软件是否按照需求对用户功能操作进行了日志记录,且日志记录信息是否齐全,包括事件日期、时间、发起者信息、类型、描述和结果等。
真实性指的是对象或资源的身份标识能够被证实符合其生命的程度。可通俗理解为软件是否有相应措施来保证对象或资源的身份标识是真实的,包括:身份鉴别,系统提供专用的登录控制模块对登录用户进行身份标识和鉴别,使用双因子身份鉴别等。
依从性指的是产品或系统遵循与信息安全性相关的标准、约定或分轨以及类似规定的程度,也就是软件的功能是否符合相关标准、法规对信息安全性方面的要求。如,电力行业的相关标准对系统有特定的安全要求。
在标准中,对信息安全性的要求有:
5.3.6.1 ---RUSP的信息安全性表现应与用户文档集所述的信息安全性特征一致,包括保密性、完整性、抗抵赖性、可核查性、真实性和信息安全性的依从性等子特性。
5.3.6.2 ---对未经授权非法用户,要求RUSP能够阻止其对程序和数据的访问。如统计分析人员,需经系统管理员对其授权,登录系统后才能操作系统的统计分析功能。
5.3.6.3 ---RUSP能够对数据库和文件的非授权访问或蓄意破坏事件发出警告并拒绝服务,并通知授权用户该事件的相关信息,如通知系统管理员某时某刻阻止了来自某ip对数据库试图读取或篡改的操作。
5.3.6.4 ---RUSP应按信息安全要求,提供访问权限控制,如电商软件将增、删、改、查某商品数据的权限分配给卖家用户,而仅把查询权限分配给买家用户。
5.3.6.5 ---针对保密数据资源,RUSP应保证在授权范围内使用。如合同信息
维护性
软件产品的维护性指的是产品或系统能够被预期的维护人员修改的有效性和效率的程度,主要包含:模块化、可重用性、易分析性、易修改性、易测试性、依从性,六大部分。
模块化:由多个独立组建组成的系统或计算机程序,其中一个组件的变更对其他组件的影响最小的程度。指的是软件是否由独立的组件组成。即软件是否采用了模块化设计,如微服务架构、SOA架构等。
可重用性:资产能够被用于多个系统,或其他资产建设的程度。指的是软件的模块是否可重用于其它系统中。松耦合的模块便于用于其它系统中。
易分析性:可以评估预期变更(变更产品或系统的一个或多个部分)对产品或系统的影响、诊断产品的缺陷或失效原因、识别待修改部分的有效性和效率的程度。实现包括为产品或系统提供机制,以分析其自身故障以及在失效或其他时间前提供报告。
通俗地讲,指的是软件在出现运行失效,或被修改时,是否易于诊断分析缺陷或修改的有效性,包括:日志信息,针对软件被修改或运行出现错误时,给出相应的日志信息,便于识别修改的有效性和出现错误的原因。诊断功能,软件提供诊断功能,对软件功能运行的状态信息进行跟踪,便于诊断分析问题。
易修改性:产品或系统可以被有效地、有效率地修改,且不会引入缺陷或降低现有产品质量的长度。实现包括编码、设计、文档和验证的变更。模块化和易分析性会影响到易修改性。易修改性是易改变性和稳定性的组合。
我们可以这样通俗地理解,易修改性指的是软件是否可以被方便的修改,以满足新的功能需求,包括:对系统参数进行配置;对用户权限进行修改;对业务流程进行修改。
易测试性:能够为系统、产品或组件建立测试准则,并通过测试执行来确定测试准则是否被满足的有效性和效率的程度。指的是软件在变更或维护后应能方便地进行测试,如:软件变更数据库后,提供测试功能,验证数据库是否可以成功连接。
依从性:产品或系统遵循与维护性相关的标准、约定或法规以及类似规定的程度。也就是软件的功能是否符合相关标准、法规对维护性方面的要求。
下面我们再一起看一下GB/T 25000.51-2016《软件产品质量要求和测试细则》中针对维护性的软件质量要求及测试要求:
5.3.7.1 ---RUSP的维护性表现应与用户文档集所述的维护性特征一致,包括模块化、可重用性、易分析性、易修改性、易测试性和维护性的依从性等子特性。
5.3.7.2 ---软件应能标识出每一个基本组件的发布号、相关的质量特性、参数和数据模型。如在软件的版本声明中,标注各组件的版本信息,追溯其组件的版本声明信息,能够查阅其质量特性、参数和数据模型信息。
5.3.7.3 ---RUSP应能在任何时候标识出每一个基本组件的发布版本号,及其对RUSP整体、某个质量特性、或者其它组件产生的影响。如在软件版本信息里标明数据库模型版本信息:DBschema V3.0 build1108,软件受影响质量特性为功能和性能效率。
可移植性
软件产品的可移植性指的是系统、产品或组件能够从一种硬件、软件或者其他运行(或使用)环境迁移到另一种环境的有效性。主要包含四个方面:适应性、易安装性、易替换性、依从性。
适应性:产品或系统能够有效地、有效率地适应不同的或演变的硬件、软件或者其他运行(或使用)环境的程度。适应性包括内部能力(例如屏幕域、表、事务量、报告格式等)的可伸缩性。适应包括那些由专业支持人员实施的,以及那些由业务或操作人员,或最终用户实施的。如果系统能被最终用户所适应,那么适应性就相当于IOS 9241-110中所定义的个性化的适宜性。
我们通俗一点讲,适应性就是软件是否可移植到其它硬件、软件环境中运行,包括:产品或系统适应软硬件变化的能力,包括硬件环境、操作系统、数据库管理系统、浏览器、支撑软件的适应性。硬件环境的适应性,如不同的服务器、存储设备、辅助设备(如打印机、扫描仪等)等;软件的适应性:不同的操作系统类型和版本、不同的数据库类型和版本、不同的浏览器和版本等。
易安装性:在指定环境中,产品或系统能够成功地安装和/或卸载的有效性和效率的程度。如果系统或产品能被最终用户所安装,那么易安装性会影响到所产生的功能合适性和易操作性。简单来说就是软件是否易于安装、卸载。安装,软件是否可以一键安装,或自定义安装等;卸载,软件是否可以一键卸载等。
易替换性:在相同的环境中,产品能够替换另一个相同用途的指定软件产品的程度。软件产品的新版本的易替换性在升级时对于用户来说是重要的。易替换性可包括易安装性和适应性的属性,鉴于其重要性,易替换性作为一个独立的子特性被引入。易替换性将江都锁定风险,因此其他软件产品可以代替当前产品,例如按标准文档格式使用。
简单地理解,易替换性指的就是是软件是否易于升级替换,包括:升级,是否可以在线升级,是否可以自动升级;覆盖安装,是否可以覆盖安装;数据复用,软件被替换后,原数据是否仍然可以使用。
依从性:产品或系统遵循与可移植性相关的标准、约定或法规以及类似规定的程度。这点跟其他特性一样,也就是软件的功能是否符合相关标准、法规对可移植性方面的要求。
5.3.8.1 ---如果最终用户可以实施安装,则安装文档应该是完备、有效的。
5.3.8.2 ---RUSP应支持产品说明中指定的每一种支持的平台和系统,确保其能成功安装和正确运行。如在产品说明中声明本软件支持Microsoft Windows7、8 两种操作系统,那么就应该验证软件在这两种操作系统上都能够成功地安装并运行。
5.3.8.3 ---软件应提供用户已安装软件组件移除或卸载的方法,确保用户按照步骤能完成软件组件的移除或卸载。如:采用卸载向导、或从控制面板中的添加/删除中可卸载或移除对应的软件组件、文件夹等。
规范的软件测试体系不但能够有效提高软件质量和软件过程能力,提高软件测试效率,也是软件测试实验室在申请cnas、cma等资质时必须要具备的条件。以上就是我们为大家整理的软件测试实验室软件测试体系建设指南,如需具体的文件模版作为参考,可评论或私信我。