T_ISC 0028-2023 人工智能模型风险管理能力成熟度模型.docx

《T_ISC 0028-2023 人工智能模型风险管理能力成熟度模型.docx》由会员分享，可在线阅读，更多相关《T_ISC 0028-2023 人工智能模型风险管理能力成熟度模型.docx（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、学兔兔标准下载ICS35.020CCSL01团体标准T/ISC00282023人工智能模型风险管理能力T/ISC00272023成熟度模型Capabilitymaturitymodelforriskmanagementofartificialintelligencemodel（发布稿）2023-06-12发布2023-09-01实施中国互联网协会发布学兔兔标准下载T/ISC00282023目次前言.II引言.III1范围.12规范性引用文件.13术语和定义.13.1.13.2.13.3.13.4.23.5.24人工智能模型风险管理.24.1风险管理目标.24.2风险管理框架.25能力成熟度模型

2、.35.1能力成熟度等级.35.2风险管理能力.5参考文献.27I学兔兔标准下载T/ISC00282023前言本文件按照GB/T1.12020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。本文件由中国互联网协会归口。本文件主要起草单位：中国信息通信研究院、蚂蚁科技集团股份有限公司、北京京东世纪贸易有限公司、度小满（北京）科技有限公司、同盾科技有限公司、易车公司、中国联合网络通信集团有限公司、百度在线网络技术（北京）有限公司、北京字节跳动科技有限公司、西安恩耐博人工智能科技有限公司、北京快手科技有限公司、三六零安全科技股份有限公司、腾讯云计算（北京）有限责任公司、北京京东科技有限

3、公司、北京中科闻歌科技股份有限公司、北京小桔科技有限公司、杭州安恒技术股份有限公司、OPPO广东移动通信有限公司、北京榕树科技有限公司等。本文件主要起草人：杨玲玲、陈杨、王阳、梁叶、应叶、董纪伟、小宇、梅亮、彭晋、林冠辰、薛峰、周杨、张天翼、杨舟、彭鸿涛、赵磊、唐佳伟、于跃、李鹏、魏芳、于城、张立彤、赵皓星、周少雄、姚一楠、王永霞、王春兴、何佳、李剑锋、梁伟、王璋盛、杨大伟、王蓬华等。II学兔兔标准下载T/ISC00282023引言近年来，人工智能技术的持续发展为企业的生产运营和管理模式带来了巨大的变革，已成为带动经济增长的重要引擎。与此同时出现了新的技术风险、伦理风险等威胁和挑战，如模型数据

4、来源、准确性和及时度不当产生的数据风险，模型缺陷造成的决策失衡和结果偏差，模型安全和监控缺失造成的失控事件，以及模型使用不当造成的伦理挑战等。本文件针对组织在开发、实施和使用人工智能模型过程中面临的主要风险挑战，根据法律法规和行业特性，明确人工智能模型风险管理的原则、目标，厘清主体责任，建立覆盖围绕人工智能模型的风险管理能力成熟度模型，规范模型在需求分析、数据准备、模型构建、检验验证、模型部署、持续验证、模型修正、模型下线等环节中的风险管理活动，从策略制度、组织架构、资源配置、技术手段等方面提供保障，提出切实有效的管理措施，快速灵活应对模型风险，确保组织健康有序发展，推动科技向善。对本文件中的

5、具体事项，法律法规另有规定的，需遵照其规定执行。III学兔兔标准下载T/ISC00282023人工智能模型风险管理能力成熟度模型1范围本文件提供了组织在开展人工智能模型需求分析、数据准备、模型构建、检验验证、模型部署、运行监控、持续验证、模型修正、模型下线等关键活动过程中进行风险管理的建议。本文件适用于管理、研发、供应、使用人工智能模型的相关机构。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T250692022信息安全技术术语GB/T

6、243532022风险管理指南（ISO310002018,IDT）3术语和定义GB/T250692022和GB/T243532022界定的以及下列术语和定义适用于本文件。3.1模型model系统、实体、现象或过程的物理、数学或其他逻辑表示。来源：ISO/IEC18023-1:2006,3.1.113.2人工智能模型artificialintelligencemodel使用一种或多种人工智能技术和方法构建的模型（3.1）。注：人工智能模型可以针对一组给定的人类定义的目标生成输出，例如内容、预测、建议或影响他们互动环境的决策。3.3风险risk不确定性对目标的影响。注1：影响是指偏离预期，偏离可以

7、是正面的和/或负面的，可能带来机会和威胁。注2：目标可有不同维度和类型，可应用在不同层级。注3：通常风险可以用风险源、潜在事件及其后果和可能性来描述。来源：GB/T243532022,3.11学兔兔标准下载T/ISC002820233.4模型风险modelrisk基于不正确的模型（3.1）、乱用模型输出和报告进行决策可能产生的风险（3.3）。3.5能力成熟度模型capabilitymaturitymodel一种模型，该模型包含一个或多个学科的有效过程的基本要素，并描述了从临时的、不成熟的过程到具有改进的质量和有效性的、受到训练的、成熟的过程的进化改进路径。来源：ISO/IEC/IEEE2476

8、5:2017，3.4724人工智能模型风险管理4.1风险管理目标a）安全可靠：应具备与所面临的安全风险相匹配的安全能力，并采取足够的管理措施和技术手段，保障人工智能模型的完整性和鲁棒性。b）透明可解释：应能够解释人工智能模型如何工作以及如何达到特定的预测，或如何在决策过程中发挥作用，建立理解和信任。c）公平公正：应保障利益相关者的权益，促进机会均等。d）尊重隐私：应尊重和保护个人隐私，充分保障个人的知情权和选择权。e）可监督、可问责、可审计：应保障人工智能模型生命周期中利益相关方职责清晰，并具备足够的监督、控制能力，留存足够的记录以支持审计和取证活动。4.2风险管理框架图1人工智能模型风险管理

9、框架人工智能模型风险管理框架包括以下模块：a）策略：指组织为实现人工智能模型风险管理而采取的策略，涵盖规划、执行及控制过程，主要关注组织策略方针和管理制度。2能力成熟度等级特征详细说明第一级（基础级）基本运行，各部门/业务线/项目为了经营管理正常运行，对人工智能模型风险活动进行自发管理。各部门/业务线/项目为了经营管理正常运行，对该项活动进行自发管理。（1）管理范围仅限于项目/部门/业务线，由各业务条线/各项目/部门各自管理。（2）有基本的管理活动（部分环节、零散的），但一般依赖于约定俗成、个人经验。管理活动不一定可重复。（3）管理要求可能落于纸面，但缺少规范化的、正式发布的、组织级的制度。（

10、4）管理活动以符合法律要求、避免影响业务运营的重大风险为主目标。（5）一般情况下没有专岗人员，由其他职能的人员自发进行。（6）基于风险事件的被动应对，仅基于个人经验和临时反应。（7）没有系统工具支持管理活动。兔兔学标准下载T/ISC00282023b）组织：指管理层对人工智能模型风险管理的职责，确保组织业务战略和重大策略的一致性，评估和控制人工智能模型风险管理效率和效果，确定组织的风险偏好等。c）模型生命周期：指对模型全生命周期进行风险管理，涵盖需求分析、数据准备、模型构建、检验验证、模型部署、运行监控、持续验证、模型修正、模型下线九个关键环节。d）应急响应：指对开发、实施和使用人工智能模型过

11、程中的风险事件进行及时响应、跟踪和处置，及时消减风险事件的影响，保证业务连续性。e）决策透明度：指对人工智能模型如何工作和决策的过程进行解释。f）交互与沟通：指与监管机构、合作方、用户等相关方建立交互沟通机制，以及采取措施保障利益相关方的权益。g）外部合作：指在开发、实施和使用人工智能模型的过程中涉及与合作伙伴、第三方服务商等外部机构交互，对由于外部因素导致的业务中断、结果不可靠、责任不清、安全事件等风险进行管理。h）专利保护：指对开发、实施和使用人工智能模型可能涉及的知识产权侵权风险进行管理，以及对自主知识产权进行保护。i）环境保护与社会责任：指在开发、实施和使用人工智能模型的过程中对环境和

12、社会产生的影响，并采取相应解决方案。j）管理层监控和审计：指人工智能模型开发、实施和使用相关部门对现有制度流程的自我监控评估和独立审计。5能力成熟度模型5.1能力成熟度等级3第二级（增强级）安全合规，在第一级的基础上，各部门/业务线/项目为了人工智能模型风险管理活动满足外部行业监管或自身增强性的风险管理要求。在第一级的基础上，各部门/业务线/项目为了该项活动满足外部行业监管或自身增强性的风险管理要求。（1）管理范围仅限于项目/部门/业务线，各业务条线/各项目/部门各自管理，或通过其他现有的管理体系和机制来实施人工智能模型风险管理，并非制定了专门针对人工智能模型风险管理的机制。（2）有较成熟的管

13、理活动，但主要以符合行业监管要求和组织自身提出的增强性风险管理要求为目标。（3）管理活动已在项目/部门/业务线内形成规范、流程。（4）一般情况下没有专岗人员，但已明确其他职能或兼岗人员的职责。（5）基于风险事件的被动应对，但具备一定的事件响应能力。（6）使用简单的工具支持管理活动。第三级（优秀级）规范有序，在第二级的基础上，实现组织级、标准化的管理活动，管理活动覆盖关键环节，以达到行业优秀水平为目标。在第二级的基础上，实现组织级、标准化的管理活动，达到行业优秀水平。（1）组织范围内实现统一管理。（2）建立了标准化的管理制度和流程，且管理质量可控，能够对关键的、常见的人工智能风险进行应对。（3）

14、管理活动覆盖关键环节，以达到行业优秀水平为目标。（4）一般情况下设置了专岗人员。（5）主动进行风险管理，可以对已知风险进行识别、评估和处置，但管理手段较为单一。（6）使用系统工具支撑关键的管理活动。（7）参与国家、行业相关标准制定。第四级（卓越级）全面高效，在第三级的基础上，实现高效的、平衡的管理，管理活动具有全面性，以达到业界最佳实践为目标，且能被充分借鉴。在第三级的基础上，实现高效的、平衡的管理，达到业界领先水平。（1）较第三级管理效率大幅提升，风险管理与运营效率、人工智能技术应用与相关方利益均达到较好的平衡。（2）管理活动具有全面性，以达到业界最佳实践为目标，且能被充分借鉴。（3）使用系

15、统工具实现全面的管理自动化。（4）建立指标体系，实现可量化的管理。（5）主动进行风险管理，可以对已知风险进行识别、评估和处置，并预先建立了对可预见风险的应对措施。（6）风险管理活动能够持续改进和优化。（7）牵头/主导国家、行业相关标准制定，或参与国际相关标准制定。（8）在相应领域部署了研发资源，探索、尝试该领域前沿技术和理念。学兔兔标准下载T/ISC002820234兔学兔标准下载第五级（引领级）前瞻引领，在第四级的基础上，实现智能化的管理，能够应对未知风险，前沿性地探索，引领行业。T/ISC00282023在第四级的基础上，实现智能化的管理，前沿性地探索，引领行业。（1）使用系统工具实现自洽

16、的智能化管理。（2）实现实时、动态的管理。（3）实现前瞻性的风险管理部署，可以对未知风险进行识别，并预先建立了相应的应对措施。（4）将人工智能风险管理作为企业主要战略或核心竞争力，持续探索、尝试该领域前沿技术和理念并具备引领性和话语权。（5）牵头/主导国际相关标准制定。5.2风险管理能力5.2.1策略5.2.1.1第一级本级能力如下：a）具备基本的人工智能模型风险管理活动，管理活动可依赖于约定俗成、个人经验。b）人工智能模型风险管理要求可落于纸面，但可能缺少规范化的、正式发布的、组织级的制度。5.2.1.2第二级本级能力如下：a）前一级的全部内容。b）组织高级管理层分配适当的资源以支持人工智能

17、模型风险管理工作。c）管理活动能够通过其他现有的管理体系和机制来保障实施。d）业务团队制定人工智能模型相关管理规范和流程。5.2.1.3第三级本级能力如下：a）前两级的全部内容。b）组织高级管理层制定、审批、发布人工智能模型风险管理策略方针。c）组织高级管理层基于策略方针，制定、审批和发布人工智能模型风险管理制度。管理制度宜明确组织涉及人工智能模型开发、实施和使用相关的管理目标、职责分工、具体流程、过程文档、风险管理活动应覆盖的关键环节等内容。d）组织高级管理层对策略方针和管理制度进行充分宣贯，并与外部机构和利益相关方进行适当沟通。e）组织高级管理层定期或在组织战略、外部环境、相关技术等发生重

18、大变化时，对策略方针和管理制度进行审阅和更新。5.2.1.4第四级5学兔兔标准下载T/ISC00282023本级能力如下：a）前三级的全部内容。b）策略方针涵盖可预见的人工智能模型风险，并且与外部机构和相关利益方的沟通宜更加充分。c）管理制度全面涵盖人工智能模型开发、实施和使用的各个环节。d）风险管理活动在系统工具的支持下实现自动化和可量化。e）组织宜积极收集相关信息和最佳实践，不断完善现有的策略方阵、制度和流程。5.2.1.5第五级本级能力如下：a）前四级的全部内容。b）组织高级管理层前瞻性地部署策略方针，实现对未知风险的管理。c）组织高级管理层将人工智能模型风险管理作为组织主要战略或核心竞

19、争力，持续探索、尝试风险管理前沿技术和理念并具备引领性和话语权。d）管理活动实现自洽的智能化，能够对人工智能模型风险进行实时、动态的管理。5.2.2组织5.2.2.1第一级本级能力如下：a）尚未将人工智能纳入整体业务战略，尚未将人工智能相关风险纳入组织整体风险管理和管理层职责范围。5.2.2.2第二级本级能力如下：a）前一级的全部内容。b）组织设置人员或团队对人工智能模型的开发、实施和使用进行管理。c）组织根据自身业务战略和技术要求，基于国家相关法律法规及行业标准等监管的要求将与人工智能模型相关风险（如操作风险、科技风险等）纳入组织风险管理体系。d）组织明确了管理层以及执行层面在上述风险领域的

20、权责范围。e）制定与人工智能模型相关的风险管理要求，并在组织风险管理相关职能部门实际工作中有效落实相关制度和流程（如数据安全部门、内控合规部门等）。5.2.2.3第三级本级能力如下：a）前两级的全部内容。b）组织将人工智能作为组织整体业务发展战略的一部分。c）组织明确了管理层，人工智能开发、实施和使用相关部门和团队在人工智能模型风险管理方面的职责职能与授权。从组织架构上保障人工智能模型风险管理活动具备独立性，确保适当的人员对人工智能模型具有要求解释和拒绝使用的权力。d）管理层需对人工智能模型风险管理框架进行审批。6兔学兔标准下载T/ISC00282023e）组织建立与人工智能模型风险管理框架配

21、套的风险管理机制，包括风险识别、风险评估、风险处置、监控与审计，形成完整的风险管理闭环。5.2.2.4第四级本级能力如下：a）前三级的全部内容。b）组织建立专门的治理委员会并定期实现向董事会和组织高级管理层汇报和披露人工智能发展与风险管理情况。如组织内部已经形成了如风险管理委员会、信息科技委员会等机构，且将与该人工智能模型相关的风险管理纳入到组织整体风险管理领域并开展专门的业务决策、风险评估与处置管理，则也可以满足该要求。c）通过量化手段实现风险计量，实现监控与审计的部分自动化。d）建立人工智能相关人才激励政策，并将人工智能风险管理与考核机制结合。5.2.2.5第五级本级能力如下：a）前四级的

22、全部内容。b）组织实现对组织不同层面及不同人工智能模型面对的风险的实时监控，以帮助组织高级管理层对组织人工智能模型风险进行及时的了解。c）组织实现风险应对决策的自动化，以提高改进计划制定的效率。d）组织借助系统支持改进计划的执行和跟踪，以达到更有效的持续管理改善。e）组织实现对未知风险的识别，并据此评估现有人工智能模型风险管理策略方针和管理制度的适用性，制定相应的管理策略调整和风险应对方案，以确保人工智能模型风险管理具有前瞻性。5.2.3模型生命周期5.2.3.1需求分析5.2.3.1.1第一级本级能力如下：a）相关人员和人员可基于经验开展基本的需求分析活动。b）需求分析活动明确了模型构建的业

23、务背景、业务目标和应用场景，一般宜涵盖问题输入、目标拆解、资源投入等相关内容，c）具备模型需求提出、记录、流转、跟踪的渠道。5.2.3.1.2第二级本级能力如下：a）前一级的全部内容。b）制定模型需求管理流程规范。c）涵盖行业监管要求、组织风险管理与安全相关要求。7兔学兔标准下载T/ISC00282023d）建立需求评审机制，需求评审应包括业务可行性和技术可行性、模型应用目标和预期效果与组织战略的符合性、潜在的业务价值。需求评审相关方宜至少包括业务人员、模型开发人员、安全人员、合规人员、风险管理人员。e）根据需求分析内容形成需求说明文档，并经过需求评审相关方确认。5.2.3.1.3第三级本级能

24、力如下：a）前两级的全部内容。b）制定模型需求管理制度，一般宜涵盖需求评审、需求变更、紧急需求等关键的管理活动及资源保障。c）开展模型风险评估，通常宜关注模型业务应用场景风险以及威胁和脆弱性、与人工智能风险管理原则的符合性、与风险管理策略方针的符合性、安全控制措施的有效性、风险事件应急响应机制、对利益相关方可能产生的不利影响等。在模型存在的高风险缺陷或问题的情况下，应制定风险缓释措施降低风险。d）需求说明文档具体描述人工智能模型业务目标，模型构建和应用成功与否的衡量标准，模型构建及应用所需的资源和时间，模型风险评估。e）具备自动化工具支持模型需求管理。5.2.3.1.4第四级本级能力如下：a）

25、前三级的全部内容。b）针对需求的执行情况进行周期性评估，并检查需求执行效果。c）需求评估具备可量化的指标。为进一步提升服务效能、质量、安全等目的，宜建设需求执行验证平台或工具。5.2.3.1.5第五级本级能力如下：a）前四级的全部内容。b）能够对模型需求分析过程进行自适应调整，根据业务需求、监管环境、安全态势、技术发展等情况对需求分析的范围、目标、内容进行自动调整。c）针对需求分析变化能够自动调整资源变更的流程，并完成对于执行效果的完整性检查。5.2.3.2数据准备5.2.3.2.1第一级本级能力如下：a）相关部门和人员可基于经验进行基本的数据准备活动，产出模型构建所需的数据集。5.2.3.2

26、.2第二级本级能力如下：a）前一级的全部内容。8学兔兔标准下载T/ISC00282023b）制定数据采集、存储、使用、传输、销毁等生命周期的安全要求，且应符合组织总体的安全合规要求。c）建立数据开发管理流程，规范数据准备处理操作，一般宜包括数据标记、标注、清洗和聚合等。d）数据开发人员实际有效地落实数据开发相关管理要求和流程。e）对数据集的数据质量进行管理，保障数据的准确性、完整性、有效性、时效性。f）具备良好的团队协作机制，参与数据准备活动的各职能人员应分工明确、沟通顺畅。5.2.3.2.3第三级本级能力如下：a）前两级的全部内容。b）建立数据开发管理制度，规范数据处理流程，管控数据处理各环

27、节相关风险。c）针对模型的预期用途进行专有的数据开发，考虑特定的应用环境所特有的特征或要素。d）记录数据准备操作过程，包括数据获取时间、训练数据来源、训练数据量、数据存储介质标识、采样方法。e）利用角色、流程、权限设置对训练数据集和测试数据集进行管控，保证数据集的安全性、完整性、一致性及隐私保护。注：涉及生物识别、医疗健康、金融账户、行踪轨迹等敏感个人信息的数据处理活动应符合中华人民共和国个人信息保护法的要求。f）确保数据开发环境中使用的数据与生产环境的一致性。g）具备数据开发工具，通常宜支持数据集成、数据清洗和数据加工等操作。h）保留和备份数据准备过程中产生的关键日志信息，日志内容和保存时长

28、应满足组织审计需要。5.2.3.2.4第四级本级能力如下：a）前三级的全部内容。b）对数据准备活动生成的数据集进行全面评估，避免存在数据污染、数据投毒攻击、数据偏差、用户歧视、用户隐私侵犯等情况，针对评估所识别出的风险应及时制定相应的解决方案。c）宜采用数据安全领域先进技术，在保证数据安全及用户权益的前提下，多方位引进模型内外部数据，扩展数据维度。5.2.3.2.5第五级本级能力如下：a）前四级的全部内容。b）可借助自动化检测及管理工具，智能化识别数据准备活动中的现有风险，对可能发生的未知风险进行预测，制定有效的风险应对方案，实现数据准备活动风险管理的前瞻性部署。5.2.3.3模型构建5.2.

29、3.3.1第一级9兔学兔标准下载T/ISC00282023本级能力如下：a）相关部门和人员可基于经验或团队约定俗成的方式开展算法选择、模型开发训练、测试等模型构建活动。5.2.3.3.2第二级本级能力如下：a）前两级的全部内容。b）制定模型构建管理流程，明确代码安全等相关要求。c）模型开发人员实际有效地落实模型构建相关管理要求和流程。d）模型开发人员对模型的有效性、准确性、鲁棒性进行自测，确保模型满足业务需求。e）模型开发人员通过对模型参数的合理适当性进行复核、避免选择偶发性参数等措施保证模型构建的科学合理性。f）需记录模型构建过程，一般宜包括建模脚本、建模过程中的软硬件环境、模型训练方式、特

30、征选择和决策结果、建模人员、建模时间、版本迭代等。5.2.3.3.3第三级本级能力如下：a）前三级的全部内容。b）制定模型构建管理制度。c）制定模型构建方案。模型开发人员应尝试使用不同的算法以找到最适合的模型方案，并了解所选算法的局限性，测试模型相关假设（如有）并提供合理的证明，进行不同时间样本的模型性能比较以验证模型稳定性，提供和基准模型(如有)性能的比较以说明新模型的优越性。d）对目标函数进行说明，目标函数设计上不应存在针对特殊群体的偏见歧视。e）对模型重现能力进行评估，确保模型决策结果在相同场景下的一致性。f）对深度学习模型使用过程中产生的相关计算数据包括输出向量、模型参数、模型梯度等可

31、能会泄露训练数据的敏感信息或者模型自身的属性参数，制定保护策略，保护策略宜采取限制恶意访问次数、引入随机性、添加模型水印等措施。g）使用代码扫描工具和人工代码检查方式对代码进行评审，发现安全缺陷并修复。h）形成模型开发文档，包括算法选择、模型训练、参数选择、模型测试等模型开发过程关键内容。i）建立模型评审机制，成立模型评审委员会或组织合适的相关方负责模型评审工作。评审人员应独立于模型开发人员，评估模型效果、模型性能等影响模型应用的关键内容。j）建立模型构建的环境或平台，并设置完善的访问控制、安全控制等措施。k）保留和备份模型构建过程中产生的关键日志信息，日志内容和保存时长应满足组织审计需要。5

32、.2.3.3.4第四级本级能力如下：a）前三级的全部内容。b）建立模型构建安全规范，明确模型构建过程中应遵循的安全原则和安全要求，一般宜包括模型威胁建模和攻击面分析，模型开源风险，模型安全漏洞等。10学兔兔标准下载T/ISC00282023c）模型构建的环境或平台具备适用于多种用户角色的建模工具，一般宜包括给业务人员提供图形化的建模工具、给数据科学家提供专业的交互式建模工具等，建模工具提供的算法库能够支持多种模型的构建需求，包括有监督、无监督，以及主流的神经网络、深度学习、自动化建模等。d）模型构建的环境或平台具备模型文件校验等技术能力，对模型文件格式、大小、参数范围、网络拓扑、节点名称、数据

33、维度等关键信息进行检测校验，避免加载恶意模型文件。e）保障模型可靠性和可重现性，若发生不可避免的偶发性不准确预测，应当能计算出错误发生的概率。f）保障模型的差分隐私性，确保无法根据模型结果反向计算出用户的敏感特征。g）针对模型潜在的恶意攻击风险，采用对抗训练、对抗样本检测等防御手段提升模型鲁棒性和安全性。5.2.3.3.5第五级本级能力如下：a）前四级的全部内容。b）实时评估、监控模型构建过程的可预见风险，并自动化地实施风险处置措施。c）对模型构建过程可能存在的未知风险设置前瞻性的风险预防措施。5.2.3.4检验验证5.2.3.4.1第一级本级能力如下：a）未建立模型检验验证管理机制，未设置检

34、验验证人员，相关部门和人员可基于经验或团队约定俗成的方式开展检验验证活动。b）在检验验证发现模型有重大缺陷且未解决之前，需要在非常严格的限制条件下使用模型或应拒绝使用该模型。5.2.3.4.2第二级本级能力如下：a）前两级的全部内容。b）制定模型检验验证管理流程，通常宜包括检验验证的标准执行流程、检验验证目标和内容、数据安全管理要求等，确保模型与行业监管要求及业务应用方面的符合程度。c）设置负责模型检验验证的人员和岗位。d）确保人工智能模型的相关特征及特征工程过程与风险策略相吻合，一般宜包括但不限于模型输入的正确转换、特征选择的标准、特征对应的业务逻辑等。e）对数据输入及数据处理结果进行风险评

35、估,避免数据采集及处理结果中包含可恢复或者涉及安全隐私的敏感数据。f）进行模型结果有效性验证和分析，即对模型输出与相应的实际结果进行比较。g）在相同场景下采取不同的数据集来对模型进行多次校验，并对在相同条件下出现的差异化结果进行进一步分析。h）对检验验证过程中发现的问题制定解决方案并持续跟进。11学兔兔标准下载T/ISC00282023i）对模型检验验证过程进行记录，通常宜包括验证方式、验证人员、验证结果等。5.2.3.4.3第三级本级能力如下：a）前三级的全部内容。b）制定模型检验验证管理制度。c）设置专职负责模型检验验证的人员和岗位，检验验证人员岗位须具备适当的权限和独立性。d）模型检验验

36、证范围宜包括模型的所有组件，即输入、处理、输出、报告等。e）模型检验验证内容宜包括数据稳定性、模型的鲁棒性和模型效果检验等。f）对于模型的合理性及风险可控程度进行全面的核查，通常宜包括使用数据项的适当性、合理性、权重比例的科学性等问题。g）采取必要措施以保证模型决策结果公平公正，确定公平评判标准，一般宜包含人群均等、机会均等、几率均等、人群无关性等标准，并对其进行公平性测试，必要时进行修正。h）针对验证过程中发现的缺陷或风险，分析对应缺陷引发的原因、导致的问题、是否有解决方案及最大化风险敞口的可能。记录留档并在缺陷无法解决的情况下，并按组织风险汇报流程升级至适当的管理层进行风险决策。i）制定检验验证报告。5.2.3.4.4第四级本级能力如下：a）前三级的全部内容。b）采取人工及系统评估双重交叉验证的方式进行检验验证，通过多人复评多个系统交叉