ICS35.240 CCSL67 团 体 标 准 T/EGAG016—2022 智慧医疗影像辅助诊断平台质量评估规范 Specificationforqualityevaluationofintelligentmedicalimageaideddiagnosis platform 2022-12-14发布 2022-12-14实施 广东省电子政务协会  发布 全国团体标准信息平台 全国团体标准信息平台 T/EGAG016—2022 I目次 前言..................................................................................II 1范围................................................................................1 2规范性引用文件......................................................................1 3术语和定义..........................................................................1 4缩略语..............................................................................2 5质量评估内容........................................................................2 5.1质量评估内容框架................................................................2 5.2产品文档........................................................................2 5.3功能适合性......................................................................3 5.4功能正确性......................................................................3 5.5性能效率........................................................................4 5.6可靠性..........................................................................4 5.7易用性..........................................................................4 5.8可移植性........................................................................4 5.9安全性..........................................................................5 5.10数据有效性.....................................................................5 6测试评估方法........................................................................8 6.1测试评估流程....................................................................8 6.2建立评估模型....................................................................8 6.3构建测试环境....................................................................8 6.4生成测试数据集..................................................................8 6.5开展评估........................................................................9 6.6评估报告........................................................................9 附录A（规范性）功能正确性及性能效率评估方法.........................................10 A.1功能正确性评估方法.............................................................10 A.2性能效率评估方法...............................................................12 参考文献..............................................................................13 全国团体标准信息平台 T/EGAG016—2022 II前言 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由广东省电子政务协会归口。 本文件起草单位：工业和信息化部电子第五研究所、中山大学中山眼科中心、中山大学附属第一医 院。 本文件主要起草人：高岩、许振豪、尤俊、徐欣、潘聪、林浩添、林铎儒、项毅帆、赖伟翊、尚元 君、匡铭、彭穗、王伟、肖晗。 全国团体标准信息平台 T/EGAG016—2022 1智慧医疗影像辅助诊断平台质量评估规范 1范围 本标准规定了智慧医疗影像辅助诊断平台的质量评估体系和评估方法。 本标准适用于指导智慧医疗影像辅助诊断平台开发方、用户方以及第三方等相关组织对平台的质量 开展评估工作。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T25000.51-2016系统与软件工程系统与软件质量要求和评价(SQuaRE)第51部分：就绪可用 软件产品（RUSP）的质量要求和测试细则 ISO14155:2020Clinicalinvestigationofmedicaldevicesforhumansubjects—Good clinicalpractice 3术语和定义 下列术语和定义适用于本文件。 3.1 人工智能artificialintelligence 人工智能被广泛定义为制造智能机器的科学和工程，尤其是智能计算机程序。人工智能可以使用不 同的技术，包括数据统计分析、专家系统、机器学习和深度学习等，通常体现于被认为具有人类智能的 系统功能中，如推理和学习。 3.2 智慧医疗影像辅助诊断平台Intelligentmedicalimageaideddiagnosisplatform 通过人工智能算法提供诊断建议，支持图像分类、图像分割、目标识别等，可对疾病进行筛查及诊 断，具有疾病诊断或诊断分级功能的信息系统。 3.3 医疗器械medicaldevice 医疗器械，是指直接或者间接用于人体的仪器、设备、器具、体外诊断试剂及校准物、材料以及其 他类似或者相关的物品，包括所需要的计算机软件；其效用主要通过物理等方式获得，不是通过药理学、 免疫学或者代谢的方式获得，或者虽然有这些方式参与但是只起辅助作用。 3.4 测试数据集testingset 用于测试、评估人工智能算法/模型的数据集，类标记对算法来说未知，且测试数据与训练数据、 验证数据无交集。 3.5 混淆矩阵confusionmatrix 分类任务中用于快速观察相关数量的矩阵。 3.6 准确率accuracy 对于给定的数据集，正确预测的样本占所有样本的比率。 3.7 假阴性率falsenegativerate 对于给定的数据集，错误预测为阴性病例样本占所有预测为阴性病例样本的比率。 全国团体标准信息平台 T/EGAG016—2022 23.8 特异度specificity 对于给定的数据集，阴性病例样本被正确分类的比率。 3.9 真阳性率truepositiverate 对于给定的数据集，阳性病例样本被正确分类的比率，也被称为召回率、真阳率、灵敏度。 3.10 感兴趣区域regionofinterest(ROI) 机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理 的区域，称为感兴趣区域。 4缩略语 CT：计算机断层扫描（ComputedTomography） DICOM：医学数字成像和通信（DigitalImagingandCommunicationsi