ICS35.240.01 I65T/GDIIA 团 体 标 准 T/GDIIA001—2020 基于卷积神经网络的图像识别模型亮度鲁棒性 测试要求 BrightnessRobustnessTestingStandardforConvolutionalNeural NetworkBasedImageRecognitionModels 2020-12-28发布 2020-12-31实施 广东省信息协会发布 全国团体标准信息平台 T/GDIIA001—2020 I目  次 前  言...............................................................................................................................................................II 1范围.....................................................................................................................................................................1 2术语和定义.........................................................................................................................................................1 3测试范围.............................................................................................................................................................2 4测试方法与工具.................................................................................................................................................3 5测试过程.............................................................................................................................................................3 全国团体标准信息平台 T/GDIIA001—2020 II前  言 本标准按照GB/T1.1—2020给出的规则起草。 本标准归口单位：广东省信息协会。 本标准主要起草单位：广州市智能软件产业研究院、广州缘润产品设计有限公司、珠海复旦创新研 究院、中科软件测评（广州）有限公司、北京梆梆安全科技有限公司、广州市汇一智能科技有限公司、 广东拓思软件科学园有限公司、广东乐天智谷产业运营发展有限公司、广州方阵科技有限公司、广州米 袋软件有限公司。 本标准主要起草人：张立军、黄承超、温俊峰、李鑫、张浪文、王俊宇、高自立、许赢月、张辰、 郭展威、罗怡、陈立胜、董君君、姚伟杰、万基翔、田文春、陈叙伦、孙志彬、顾浩生、梁铭俊、陈家 辉、吴棉灿、简毅俊、凌宏勋、罗升。 本标准首次发布。 全国团体标准信息平台 T/GDIIA001—2020 1基于卷积神经网络的图像识别模型亮度鲁棒性测试要求 1范围 本标准定义了基于卷积神经网络的图像识别模型及其亮度鲁棒性的术语和定义、测试方法与评价标 准。 本标准适用于基于卷积神经网络的图像识别模型。 2术语和定义 以下术语和定义适用于本标准。 2.1 分类标签Classificationlabel 分类标签是用于表示类别的特有标志符号。对于由多个类别组成的集合，分类标签与集合中每个类 别一一对应。 2.2 图像识别模型Imagerecognitionmodel 一种计算分类模型，对于一张输入的图像，能够通过计算输出图像在所有给定类别集合最有可能的 分类标签。 2.3 卷积神经网络Convolutionalneuralnetwork 一类包含卷积计算且具有深度结构的前馈神经网络 2.4 输出层Outputlayer 输出层是神经网络的最后一层神经元，其中每个神经元对应图像可能的分类标签，每个神经元的输 出值的大小表示输入图像被识别为这一分类的可能性大小，其中数值越大则可能性越大。 2.5 主导标签Dominantlabel 输出层中的输出值最大的神经元对应的分类标签，即该标签为卷积神经网络所输出的图像类别。 2.6 鲁棒性Robustness 全国团体标准信息平台 T/GDIIA001—2020 2输入图像在一定范围的扰动下，若通过模型识别所输出的主导标签保持一致（即主导标签不改变）， 则称对于该扰动范围，模型对于此输入图像的识别具有鲁棒性。 2.7 亮度扰动Brightnessperturbation 对某样本图像的亮度进行扰动。对于给定扰动范围δ，图像中亮度大于1-δ的像素可以增加任意 亮度。即若1-δ≤X，则X≤X’≤1（X与X’分别为某像素扰动前后的亮度值）。 2.8 亮度鲁棒性Brightnessrobustness 某样本图像在给定的亮度扰动范围δ内，图像识别模型所输出的分类标签保持不变，即卷积神经网 络输出层的主导标签具有一致性。 2.9 数据集Originaldataset 数据集是用于测试图像识别神经网络的图像数据集合，通常由公开的图像数据集作为数据集。 2.10 测试样本集Testingsampleset 测试样本集是用以测试神经网络鲁棒性的图像样本集，即是经过一定扰动处理的数据集，通过在原 始数据集的扰动范围内抽样产生。 3测试范围 基于卷积神经网络的图像识别模型的组织架构见图1，其中 ·图像解码——解析输入图像文件，抽取表示图像各像素的数值矩阵； ·预处理——对待识别图像进行尺寸裁剪，并对亮度、对比度等基本特征进行自动调整； ·核心识别模型——接受预处理后的图像数值矩阵，通过卷积神经网络计算，在输出层得到 表明图像类别的主导标签，进而输出识别结果。 本标准的测试范围覆盖图中实线方框——核心识别模型中的卷积神经网络部分。 图1基于卷积神经网络的图像识别模型的组织架构图 全国团体标准信息平台 T/GDIIA001—2020 34测试方法与工具 亮度鲁棒性的测试方法为基于抽样的测试方法，方法流程如图2所示。 图2测试方法流程图 5测试过程 5.1鲁棒性测试需求分析 鲁棒性测试需求分析是研究用户对于模型所需要达到的亮度鲁棒性的定义过程。具体来说，就是了 解和分析用户对于模型能够抵抗亮度扰动强度的需求。在得出分析结果的基础上，确定可量化的模型亮 度鲁棒性测试的目标，（如模型在数据集上可以抵抗强度为0.2的亮度扰动），以便开展后续的测试过 程。 5.2生成测试样本集 根据卷积神经网络图像识别模型确定适当的测试样本集，其中主要需要： 1.确定数据集的来源与规模； 2.通过数据集生成测试样本集。 具体执行可参考如下： 1.可以采用公开的数据集或由用户指定所要针对的数据集； 2.在数据集中各图像的亮度扰动范围内进行抽样，生成测试样本集。 5.3鲁棒性测试实施 将数据集中图像的亮度扰动范围抽象成为一个高维几何区域，将该数据区域内通过抽样的方法生成 测试样本集，进而通过神经网络进行执行，得到输出层各个神经元输出值，继而分析神经元的主导关系， 当主导标签一致，神经网络在该样本上亮度具有鲁棒性。统计数据集中具有鲁棒性的数据比例，计算其 占数据集中数据总量的比例。 在神经网络执行某个数据所生成的测试样本的过程中，检测神经元激活状态是否发生改变。统计神 经元激活状态保持稳定的数量比例。对所以数据计算神经元激活状态保持稳定的数量比例的均值。 全国团体标准信息平台 T/GDIIA001—2020 45.4测试数据收集与结果分析 5.4.1鲁棒性分析 鲁棒性分析即使根据测试结果直接判断模型是否满足预期的抗亮度扰动能力，即量化测试目标。通 过测试得到测试样本集上鲁棒的样本比例对模型的鲁棒性等级进行划分，具体鲁棒性等级划分可参考表 1。其中，对于部分鲁棒等级的分级阈值Z可以由用户定义。 表1模型亮度鲁棒性等级 亮度鲁棒性等级 描述 数据集中鲁棒样本比例 等级1：鲁棒模型在测试样本集上可以完全抵抗目标强度的亮度 扰动，具有达到要求的抗亮度扰动能力。100% 等级2：Z%部分鲁棒模型具有一定的抗亮度扰动能力。 >Z% 等级3：失效模型的抗亮度扰动能力完全无法达到预期目标，影 响模型的正常使用。其他 5.4.2神经元稳定性分析 神经元稳定性分析是通过采集测试过程中卷积神经网络中神经元的激活状态改变情况来分析神经 元激活状态是否稳定，为评估神经网络在亮度扰动下的鲁棒性提供依据。激活状态稳定的神经元比例越 低，则表明神经网络对扰动越敏感，对于识别准确性的风险越高。具体敏感性程度划分可参考表2。作 为辅助性分析，敏感性等级评估中的分级阈值H与L可以由用户定义。 表2神经元扰动敏感性等级 敏感性等级 描述 激活状态稳定的神经元比例 等级1：不敏感神经元激活状态对扰动不敏感，神