为了让实验室了解CNAS认可中经常出现的问题,对标自身体系,提高管理水平和业务水平,CNAS认可委在其官网汇总了在CNAS认可评审工作中,最容易出问题的地方。该汇总还在不断更新中,大家可以去官网查看了解,今天就带大家整体了解一下在CNAS评审中,最容易出现的问题有哪些。
CNAS认可委从745份评审报告中的2674个不符合项中,甄选出了比较典型的,在认可评审中经常发现的不符合项,基本上覆盖了CNAS-CL01的每个条款,其中以设备校准不符合项最为常见。按不符合项出现的概率看,排在前十位的依次涉及设备校准和准确度、技术记录、方法验证和方法确认、实验室的作业指导书、服务和供应品的符合性检查、质量控制、设施环境、内审、供应商的评价。
这些不符合案例中,有些不符合项可能会影响实验室的认可资格或部分认可能力,包括大量超范围使用认可标识、实验室参加的能力验证项目不能按《CNAS能力验证领域和频次表》的要求覆盖申请或认可的领域和频次、人员能力不足以承担申请认可的检测/校准活动、实验室没有配备关键设备或标准物质或者实验室环境设施不满足试验要求。
前面的文章中我们为大家按照环节分类介绍了CNAS评审不符合项的分布和分析,本文我们站在整体的角度,为大家全面梳理了,软件检测实验室在CNAS评审中,容易出现的问题和需要重点关注的地方。
1、不符合认可规则类文件的要求
主要有认可标识使用错误;能力验证活动未覆盖到相关领域(如实验室二年来未参加性能测试子领域能力验证或测量审核活动);变更未申报,这三大类问题。
2、组织
主要问题有人员确认、人员任命书、组织架构等方面的问题。
3、体系文件及控制
主要有,体系文件及架构方面,体系管理方面、文件标识方面。这部分内容比较多。体系文件及架构方面主要是体系文件中的内容未覆CNAS-CL01文件的所有要素。针对这个问题我们可以利用CNAS官方文件中的《检测和校准实验室能力认可准则》核查表和《检测和校准实验室能力认可准则在软件检测领域的应用说明》核查表这两张表进行检查,这两张表在官网都可以下载到最新版本。
体系管理方面的不符合项主要有外部文件控制范围不全、文件控制程序不合理、电子文件的控制规定不全、文件审批不严谨、缺文件清单、文件误用、文件受控规定不全、文件未定期审核、未及时修订文件、文件过期等问题。
由于实验室申请CNAS资质时,需要建立的文件数量非常庞大,涉及的内容也非常多。在我们的管理体系创建之初,难免需要借鉴成熟的资料体系模版,不可避免地就会很容易会出现上面这些问题,如上层文件中引用了下层文件,但是下层文件却未明确相关内容,不同的文件中针对同一项规定出现矛盾,引用的标准不是本行业适用标准,一些文件内容过期等等。
所以我们在准备体系文件时,一定要严格按照“质量手册、程序文件、作业指导书、记录表格”这四个层级进行推进,层层递进,确保层次分明, 相辅相成, 协调统一。如果需要软件测试实验室体系文件模版,可以私信我交流探讨。
文件标识部分主要有文件标识系统不合理、修订标识不完善、作废文件无标识、标识与文件规定不一致、文件标识信息不全这些问题。
4、合同评审
该部分出现问题最多的是“合同评审记录信息不全”。如缺少标准年号信息、合同评审中未列入对所采用的检测方法的评审、委托检测协议书缺少检验依据、校准委托通知单中缺少依据的标准、校准项目等信息、检测记录只记录了所依据标准要求的部分项目、综合测试委托书格式中缺少检验依据、样品状态等信息内容、《合同评审表》缺少“设施及环境条件”、“检测物品的处置”的能力、资源评审信息。
此外还有未按合同评审职责的规定的负责人签字、无合同评审记录、合同评审记录无委托人确认信息、《合同评审程序》中缺少对合同修改及重新评审的相关要求等问题。
在合同评审方面,软件测试实验室要注意严格按照我们体系文件中已有的《合同评审程序》进行检查,各类相关文件要符合程序文件的要求,测试所依据的标准号要写全,测试方法要明确在文件中。
5、供应商评价部分
该部分出现比较多的问题主要有无校准方评价记录,校准方评价不够,保存的校准方资格过期、未能提供合格供方目录这几方面。
6、记录
这部分内容主要分为记录的管理、记录的信息和电子记录这三部分。
其中“记录的管理”部分主要的问题有:缺记录的编号规则、特定任务未制定格式、记录保存的职责规定与文件不符、无保存期规定、保存期实施与文件不符、校准证书副本未保存、记录不原始、记录涂改。
“记录的信息”部分主要问题有缺记录、记录缺样品前处理信息、记录缺样品信息、记录缺部分人员信息、记录缺试验条件信息、记录缺结果导出过程信息、记录缺标准信息(测试依据标准)、记录缺日期信息、校准记录缺信息、软件记录缺信息。软件记录缺信息主要发现了两个问题,一是系统软件测试项目,不能提供技术评审记录。另外一个是查《被测件交接表》只记录了病毒查杀结果,未记录查毒软件名称、版本和病毒库版本。
“电子记录管理”部分主要存在的问题有:电子记录管理未规定、电子记录管理实施与文件规定不符、电子版记录与纸质版记录不一致、软件的验证(如对某系统的检测,实验室提供不出有关对该软件适用性进行了适当验证的记录)、电子记录未见任务编号及试验时间信息,无法有效识别。
7、内审
内审部分出现的不符合项有:无内审计划、无内审记录、缺少总体评价、缺少部分岗位、内审计划无岗位对应要素的信息、内审未覆盖检测活动、内审未覆盖所有分地点、审核部分岗位时缺要素、内审未覆盖相关应用说明要素、内审员未独立于审核活动、实施与文件规定不一致、内审程序与其他文件中描述的相矛盾。
对不符合工作范围识别、管理的责任和权力没有规定;对不同严重性不符合的暂停和恢复的职责权限未进行规定;未对不符合工作发生后,必要时是否停止该工作进行文件规定;缺少对不符合工作的可接受性做出决定的内容;没有有效评价不符合工作对检测结果的影响程度,没有对其可接受性做出判断;纠正措施中未对可能存在的不符合检测工作进行严重性与可接受性分析;纠正措施中未对可能存在的不符合检测工作进行严重性与可接受性分析;对内审发现的不符合项的严重性缺少评价记录;未查到能体现对不符合工作严重性的评价。
8、管理评审
在管理评审部分出现的问题主要有,未实施管理评审、缺管理评审计划、实施与文件不一致、无具体输入报告、质量目标考核问题
(质量目标没有量化、提供不出针对某描述的监控记录、无量化的质量目标、针对质量手册中的某些指标不能提供相应的量化评定要求、)管理评审输入项目不全、管理评审无输出、缺少对改进的实施和验证。
9、环境和设施
在环境和设施部分,主要的不符合项有,缺对环境条件的文件化规定、环境条件不满足试验要求、未定期检查设施、环境条件监控不到位、隔离和限制进入不到位。
在环境和设施部分,因为不同的检测项目对环境和设施的条件要求不同,安全等级也有非常大的差异,所以不同的实验室之间的要求差异比较大,如果需要软件测试实验室《检测环境管理规定》文件,可私信我获取。
10、人员
人员方面容易出现问题的方面主要有监督、培训、能力、职责和资格五大方面。
在人员监督方面,出现的问题主要有:文件中缺少人员监督的相关要求;质量手册监督范围未包括“其他技术人员”,也无“关键支持人员的识别”;部分领域未设监督员;缺部分监督记录;监督计划表缺监督对象;监督记录缺内容;监督的实施不到位;监督发现不符合后未实施纠正;监督发现不符合后未分析原因。
这里需要注意的是,我们对人员的内审一定要覆盖全面,尤其不能遗漏对新进员工员工的监督,必要时可将新进员工和已已确认能力人员的监督设置不同的监督内容。在人员监督部分出现问题最多的就是缺少部分人员的监督记录。
在人员培训方面,出现的问题主要有:管理体系培训不足;技术培训项目不全、人员档案中缺少培训记录、评价记录;缺培训计划;未评价培训有效性。在这部分除了人员培训、评价记录要完善之外,还需要注意对于质量手册也要有宣贯记录。
人员能力方面的问题主要有:人员能力不足以承担认可的检测/校准活动;部分人员教育背景、工作经历不满足CNAS相关文件的要求;缺能力确认记录;人员能力未定期确认。
针对人员能力不足以承担认可的检测/校准活动这部分,我们可以参照GB/T25000《系统与软件工程 系统与软件质量要求和评价(SQuaRE)》编写作业指导书,明确软件产品八大质量特性测试方法,并对软件测试工程师进行培训。软件测试作业指导书的编写方法可以到我的专栏查看相关文章。
人员职责方面存在的问题主要集中在文件各部分对职责规定不一致;职责规定缺部分岗位;岗位代理方面的问题;部分岗位未授权;最高管理者职责问题。这部分问题大多为多个文件中的描述不一致、管理体系文件中描述的要求未落实到位,这就需要我们在检查文件时,将不同层次的文件穿插起来,按照层级逻辑逐级检查,从最上层的质量手册到最底层的记录文件贯通起来做好检查。
人员资格方面,主要出现的问题有:文件缺部分岗位的任职资格要求、文件中规定的任职条件不符合CNAS相关文件的要求、监督员资格不满足要求、质量负责人资格不满足要求、内审员资格不满足要求、使用非长期雇佣人员。这里需要注意的是,相关人员的履历中一定要有与岗位职责相关联的内容,内审员需要有参加内审培训的记录和资格证据。
11、检测/校准方法
检测/校准方法部分容易出现的问题主要分为三大部分,标准及作业指导书、方法确认和验证以及测量不确定度评定。本文我们就从这三个方面来一起全面盘点一下,软件测试实验室申请CNAS时,在检测/校准方法方面需要注意哪些问题。
12、标准及作业指导书
标准及作业指导书领域,出问题最多的有标准未更新、检测所用标准不对、未按标准检测、缺作业指导书、作业指导书内容有问题、作业指导书未更新、标准不便取阅。其中未按标准检测和缺作业指导书类的问题最多。
我们软件测试实验室申请CNAS资质依据的标准是GB/T25000《系统与软件工程 系统与软件质量要求和评价(SQuaRE)》。软件测试实验室在申请CNAS资质时,为了使内容涵盖地更加全面,除了需要根据GB/T25000标准编写实验室软件测试作业指导书外,最好针对软件的八大特性也分别编制作业指导书。有关作业指导书编制的相关内容前期我们也为大家整理过,可以供大家参考。
实验室现场还应放置GB/T25000标准,方便软件测试工程师查阅。与此同时,我们还需要对软件测试工程师做好培训,使软件测试工程师能够熟练掌握作业指导书中明确的测试方法。
13、方法确认和验证
方法确认和验证部分容易出问题的地方有:方法偏离未确认、自编方法未确认、方法确认不完整、缺方法验证记录、方法验证不完整。其中缺方法验证记录和方法验证不完整这两部分出问题最多。
相关的文件有检测结果质量控制程序、数据控制程序、测量不确定度的评定程序、新开展项目评审管理程序和软件检测结果不确定度评定规程序等。需要落地的记录文件有新开展项目申请表、新开展项目评审表、技术评审记录、不确定度评定记录表。
14、测量不确定度评定
在测量不确定度评定方面,容易出问题的地方有不确定度评定文件内容不全、缺不确定度报告、不确定度结果不准确、数学模型不对、结果表述有问题和不确定度评定的分量不全。其中出现问题最集中的是缺不确定度报告和不确定度评定的分量不全。
测量不确定度的评定步骤主要有以下几步:1、识别不确定度的来源,建立满足测量不确定度评定所需的数学模型2、确定各输入量的估计值3、计算测量结果4、评定各估计值的标准不确定度及相应的敏感系数5、评定测量结果的合成标准不确定度6、给出测量结果的扩展不确定度7、给出不确定分量一览表8、给出测量不确定度报告。需要落地的记录文件主要有不确定度评定记录表。
15、检测报告
最后我们再一起来看一下,在CNAS评审的过程中软件测试报告容易出现哪些问题。
通过上图可以看出,报告不完整方面出现的问题较多,像缺少标题、缺少标识、缺少检测方法、缺少样品描述、缺少日期信息、缺少批准人员信息等。再就是测试报告与其他文件的要求不一致或与自身前后不一致。最后一点是报告的修改要严格按照质量手册等文件中要求的格式进行。
上图是一份软件测试报告的部分目录,一份软件测试报告需要包含的内容首先要完整、全面,除了上图展示的内容外,还需要将软件八大特性的测试结果和缺陷情况描述出来。大家需要软件测试报告模版或其他文审资料模版,可以私信我,也可以评论区交流讨论。