基于卷积神经网络的图像识别模型亮度鲁棒性测试要求(T-GDIIA 001—2020).pdf

ICS 35.240.01I65T/GDIIA团体标准T/GDIIA 0012020基于卷积神经网络的图像识别模型亮度鲁棒性测试要求Brightness Robustness Testing Standard for Convolutional NeuralNetwork Based Image Recognition Models2020-12-28 发布2020-12-31 实施广东省信息协会发 布T/GDIIA 0012020I目次前言.II1 范围.12 术语和定义.13 测试范围.24 测试方法与工具.35 测试过程.3T/GDIIA 0012020II前言本标准按照GB/T 1.12020给出的规则起草。本标准归口单位：广东省信息协会。本标准主要起草单位：广州市智能软件产业研究院、广州缘润产品设计有限公司、珠海复旦创新研究院、中科软件测评（广州）有限公司、北京梆梆安全科技有限公司、广州市汇一智能科技有限公司、广东拓思软件科学园有限公司、广东乐天智谷产业运营发展有限公司、广州方阵科技有限公司、广州米袋软件有限公司。本标准主要起草人：张立军、黄承超、温俊峰、李鑫、张浪文、王俊宇、高自立、许赢月、张辰、郭展威、罗怡、陈立胜、董君君、姚伟杰、万基翔、田文春、陈叙伦、孙志彬、顾浩生、梁铭俊、陈家辉、吴棉灿、简毅俊、凌宏勋、罗升。本标准首次发布。T/GDIIA 00120201基于卷积神经网络的图像识别模型亮度鲁棒性测试要求1范围本标准定义了基于卷积神经网络的图像识别模型及其亮度鲁棒性的术语和定义、测试方法与评价标准。本标准适用于基于卷积神经网络的图像识别模型。2术语和定义以下术语和定义适用于本标准。2.1分类标签 Classificationlabel分类标签是用于表示类别的特有标志符号。对于由多个类别组成的集合，分类标签与集合中每个类别一一对应。2.2图像识别模型 Imagerecognitionmodel一种计算分类模型，对于一张输入的图像，能够通过计算输出图像在所有给定类别集合最有可能的分类标签。2.3卷积神经网络 Convolutionalneuralnetwork一类包含卷积计算且具有深度结构的前馈神经网络2.4输出层Outputlayer输出层是神经网络的最后一层神经元，其中每个神经元对应图像可能的分类标签，每个神经元的输出值的大小表示输入图像被识别为这一分类的可能性大小，其中数值越大则可能性越大。2.5主导标签 Dominantlabel输出层中的输出值最大的神经元对应的分类标签，即该标签为卷积神经网络所输出的图像类别。2.6鲁棒性RobustnessT/GDIIA 00120202输入图像在一定范围的扰动下，若通过模型识别所输出的主导标签保持一致（即主导标签不改变），则称对于该扰动范围，模型对于此输入图像的识别具有鲁棒性。2.7亮度扰动Brightnessperturbation对某样本图像的亮度进行扰动。对于给定扰动范围，图像中亮度大于1-的像素可以增加任意亮度。即若1-X，则XX1（X与X分别为某像素扰动前后的亮度值）。2.8亮度鲁棒性 Brightnessrobustness某样本图像在给定的亮度扰动范围内，图像识别模型所输出的分类标签保持不变，即卷积神经网络输出层的主导标签具有一致性。2.9数据集 Original data set数据集是用于测试图像识别神经网络的图像数据集合，通常由公开的图像数据集作为数据集。2.10测试样本集 Testing sample set测试样本集是用以测试神经网络鲁棒性的图像样本集，即是经过一定扰动处理的数据集，通过在原始数据集的扰动范围内抽样产生。3测试范围基于卷积神经网络的图像识别模型的组织架构见图1，其中图像解码解析输入图像文件，抽取表示图像各像素的数值矩阵；预处理对待识别图像进行尺寸裁剪，并对亮度、对比度等基本特征进行自动调整；核心识别模型接受预处理后的图像数值矩阵，通过卷积神经网络计算，在输出层得到表明图像类别的主导标签，进而输出识别结果。本标准的测试范围覆盖图中实线方框核心识别模型中的卷积神经网络部分。图 1基于卷积神经网络的图像识别模型的组织架构图T/GDIIA 001202034测试方法与工具亮度鲁棒性的测试方法为基于抽样的测试方法，方法流程如图2所示。图 2测试方法流程图5测试过程5.1鲁棒性测试需求分析鲁棒性测试需求分析是研究用户对于模型所需要达到的亮度鲁棒性的定义过程。具体来说，就是了解和分析用户对于模型能够抵抗亮度扰动强度的需求。在得出分析结果的基础上，确定可量化的模型亮度鲁棒性测试的目标，（如模型在数据集上可以抵抗强度为0.2的亮度扰动），以便开展后续的测试过程。5.2生成测试样本集根据卷积神经网络图像识别模型确定适当的测试样本集，其中主要需要：1.确定数据集的来源与规模；2.通过数据集生成测试样本集。具体执行可参考如下：1.可以采用公开的数据集或由用户指定所要针对的数据集；2.在数据集中各图像的亮度扰动范围内进行抽样，生成测试样本集。5.3鲁棒性测试实施将数据集中图像的亮度扰动范围抽象成为一个高维几何区域，将该数据区域内通过抽样的方法生成测试样本集，进而通过神经网络进行执行，得到输出层各个神经元输出值，继而分析神经元的主导关系，当主导标签一致，神经网络在该样本上亮度具有鲁棒性。统计数据集中具有鲁棒性的数据比例，计算其占数据集中数据总量的比例。在神经网络执行某个数据所生成的测试样本的过程中，检测神经元激活状态是否发生改变。统计神经元激活状态保持稳定的数量比例。对所以数据计算神经元激活状态保持稳定的数量比例的均值。T/GDIIA 001202045.4测试数据收集与结果分析5.4.1鲁棒性分析鲁棒性分析即使根据测试结果直接判断模型是否满足预期的抗亮度扰动能力，即量化测试目标。通过测试得到测试样本集上鲁棒的样本比例对模型的鲁棒性等级进行划分，具体鲁棒性等级划分可参考表1。其中，对于部分鲁棒等级的分级阈值Z可以由用户定义。表 1模型亮度鲁棒性等级亮度鲁棒性等级描述数据集中鲁棒样本比例等级 1：鲁棒模型在测试样本集上可以完全抵抗目标强度的亮度扰动，具有达到要求的抗亮度扰动能力。100%等级 2：Z%部分鲁棒模型具有一定的抗亮度扰动能力。Z%等级 3：失效模型的抗亮度扰动能力完全无法达到预期目标，影响模型的正常使用。其他5.4.2神经元稳定性分析神经元稳定性分析是通过采集测试过程中卷积神经网络中神经元的激活状态改变情况来分析神经元激活状态是否稳定，为评估神经网络在亮度扰动下的鲁棒性提供依据。激活状态稳定的神经元比例越低，则表明神经网络对扰动越敏感，对于识别准确性的风险越高。具体敏感性程度划分可参考表2。作为辅助性分析，敏感性等级评估中的分级阈值H与L可以由用户定义。表 2神经元扰动敏感性等级敏感性等级描述激活状态稳定的神经元比例等级 1：不敏感神经元激活状态对扰动不敏感，神经网络在扰动下稳定。H%等级 2：较敏感神经元激活状态对扰动比较敏感，在该扰动下存在识别准确性降低的风险。L%H%等级 3：极其敏感神经元激活状态对扰动十分敏感，对识别准确性造成较大威胁。L%_