自动决策算法的风险识别与区分规制.docx

《自动决策算法的风险识别与区分规制.docx》由会员分享，可在线阅读，更多相关《自动决策算法的风险识别与区分规制.docx（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、自动决策算法的风险识别与区分规制目 次一、问题的提出：陷入科技工具理性迷思中的自动决策算法二、自动决策算法的内生性风险与程序性控制三、自动决策算法应用失范的权利救济四、特殊场景：高风险领域自动决策算法应用的严格规制策略五、结语：在“风险-规制”框架下寻找新的平衡点和组合方式摘要与关键词摘要：自动决策算法既属于专业技术，又具有赋能属性，可以和既有技术相结合催化新的应用技术和场景。与之相应，立法认识论既要注意到自动决策算法作为科学技术内含的伦理性风险，同时也需要识别不同应用场景中的复数价值以及利益冲突。为了规范内生性科技风险，立法应当根据风险程度强化对算法活动的程序性控制，确立记录和报告义务，细化

2、算法风险评估规则，完善以个人信息保护负责人为核心的二元监管体系。为了管控因赋能导致的衍生性应用风险，立法一方面应当强调人的主体性，另一方面应根据各类应用场景中的利益顺位，灵活配置权利。我国个人信息保护法规定的算法解释权在公共管理领域和商业领域意义不同，相应的规则应有能力区分公权力应用与商业应用以及是否包含知识产权等不同场景；算法结果拒绝权旨在实现个人利益、商业利益和公共利益之间的平衡，应通过例外规则保持制度弹性。如果自动决策算法在公共管理和特殊社会治理领域中的应用可能带来高风险，法秩序应施加更多的应用要求或限制，以防止算法赋能导致原有秩序功能异化。关键词：自动化决策；算法规制；风险识别；科技伦

3、理；应用场景风险正 文讨论自动决策算法的规范问题，乃是讨论自动决策算法引发的风险类型以及风险控制问题。根据中华人民共和国个人信息保护法（以下简称“个人信息保护法”）第72条第2项，自动化决策是指利用个人信息对个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，通过计算机程序自动分析、评估并进行决策的活动。自动决策算法作为智能社会的突出特征，是人类回应海量数据的必然选择：人们通过算法评估数据，分配优先性以寻求思维经济。但技术并非有利无害，自动决策算法既属于科学技术，也属于赋能科技，其与传统技术和应用相结合，可能会导致原有秩序价值的偏移乃至异化。有鉴于此，个人信息保护法设计了若干规则规范自动决策算

4、法，例如，第24条规定算法解释权和算法结果拒绝权，第55条规定算法评估制度。上述规则一定程度上捍卫了人的主体性，但因未清晰地认识到风险的层次性以及规制背后的价值基础和价值冲突，未能体系性地架构算法规制制度。本文拟以“自动决策算法+应用场景”这一模型为研究对象，结合个人信息保护法中的若干条款，从分析自动决策算法引发的风险类型和价值冲突入手，研讨不同层次、不同功能的算法规则配置。笔者不揣简陋，问道于方家。一、问题的提出：陷入科技工具理性迷思中的自动决策算法在大数据和人工智能时代，“自动决策算法+应用场景”这一模式正在快速席卷社会的各个领域。在这一结构中，自动决策算法为赋能方式，应用场景为赋能领域，

5、由此形成了一套“方式”与“领域”的叠加关系或结合关系。自动决策算法是计算机的核心运行逻辑，是一套基于设计目的的数据处理指令的总和，因此体现出专业科技的特点；一旦自动决策算法和具体应用场景相结合，人们结合应用需求有针对性地开发算法产品，此时自动决策算法就表现出强大的赋能性（enabling），从而具备通用科技的特征。当我们讨论自动决策算法立法时，我们不能不谈“方式”，自动决策算法的设计、测试、评估属于科技活动，“算法黑箱”“算法霸权”部分是因科技活动本身的不规范所致；我们也不能只谈“方式”，因为正是自动决策算法层出不穷的应用场景，使得我们在见识了算法伟力的同时，也陷入了人的客体化危机。如果我们欲

6、剥茧抽丝地设计规范方案，就必须首先区划规范对象，即作为科学技术的自动决策算法和作为赋能手段的自动决策算法。（一）作为科学技术的自动决策算法与算法研发失当对自动决策算法的设计、测试、评估非专业人士不能为之，这种“排他性”表明算法活动是一项科技活动，而科技的力量使得科学家/工程师容易陷入到对技术伟力的极端推崇中。胡塞尔就指出，人类在19世纪后半叶让自己的整个世界观受实证科学的支配，并迷惑于实证科学所造就的繁荣。韦伯通过对资本主义生产方式和社会演进的分析，看到了科学技术对推进社会发展的意义以及引发的社会问题，这使得他把理性划分为工具理性和价值理性。工具理性是人作为主体在实践中为作用于客体，以达到某种

7、实践目的所运用的具有工具效应的中介手段。韦伯一方面认可工具理性的意义，指出工业化和技术革命的巨大成功就是贯彻工具理性的结果，另一方面也指出工具理性有试图把原则的普遍有效性解读为规律的客观性的倾向。科技发现和创新并非是唯一的价值标准。技术理性化具有历史的合理性，在合理的界限内是一种进步。但若把工具理性思维泛化为社会发展依循的唯一思维路向，则是一种片面化。任何事物的泛化都意味着一种巨大的缺失，因为它掩盖了其他价值。自动决策算法蕴含的科学性使得算法设计容易陷入到工具理性迷思中。在算法设计和研发的过程中，计算机专家/算法工程师可能更加关注有用性和实效性，而忽视追求目的的正当性以及算法活动可能带来的风险

8、。1.算法决策本身具有“非科学性”算法研发的过程就是讨论如何处理数据的过程。为了摆脱前见的束缚，算法工程师希望算法能够自主地从海量数据中发现相关性。这种强调全本而非样本，追求相关性而非因果性，容忍错误而不苛求精确的新型方法论被称为“科学的第四范式”。计算机学界高度推崇这种摆脱前见、扩展相关性的方法，将之誉为治愈弊病的万能药方。但是，借助算法发现相关性而非因果性，本身就意味着算法决策结果违反科学性。因果律既意味着事件之间存在内在关联，也表明这种关联当然如此，存在某种价值上的正当性，而自动决策算法却忽视了这种意义。例如，自动决策算法可能发现饮食偏好与信贷还款能力具备相关性，但是这种相关性是基于所采

9、集的样本以及历史数据的推演结果，并非具备事理上的因果关系；自动决策算法也可能发现员工成长地域与业务能力具备相关性，但这一相关性可能构成“地域歧视”，不为法秩序所容许。2.算法工程师制造算法黑箱算法黑箱是一个建模系统，是一种完整机制，它一旦存在算法歧视、信息控制、侵犯隐私等问题，就会成为连续性的常规动作，产生系统化和机制化的侵权后果，这是人脑“黑箱”所不具备的。“算法黑箱”对个人和社会的危害更大，需要法律规范。但“黑箱”的不透明化使得规范难度巨大，成为法秩序的严重挑战。与法学家尝试打破算法黑箱相反，算法工程师却正在不断制造算法黑箱。其一，算法设计、修改过程并没有被充分记录在档。算法工程师设计算法

10、，展示算法结果，但是多不会定期与他人沟通设计方案，更不会常态化地记录设计思路。算法历经数任程序员团体的修改与更新，命名混乱、逻辑不清的所谓“祖传代码”使得算法工程师也难以理解之前的算法设计。因为记录存档制度的欠缺，算法解释难上加难。其二，算法设计过程中就没有考虑人们的理解需求。目前强调“算法透明”“算法可视化研究”，就在于要求算法工程师在设计算法时考虑人类的解释需求，而非片面追求科研/设计目标。其三，以深度学习为代表的人工智能算法的具体决策本身不具备解释的可能性。诚然，算法设计师也可以一般性地披露算法，解释神经网络的分层、训练数据来源等，但是无法详细解释单个决定是如何作出的。深度学习算法借助“

11、神经元”（处理器）和“神经突触”（网络连接），获得自我学习能力；借助大量的原始数据和反馈数据实现自我成长。深度学习算法诞生之时就像一个什么都不懂的婴儿，我们可以提供营养（数据）助其发育，但却无法预测其未来。就如同父母也无法解释子女行为一样，设计者根本无法获知深度学习算法的决定依据，要求算法使用人解释自动决策算法的特定结果无异于强人所难。算法工程师为了得到想要的结果，过度强调相关性，忽视人类的理解需求，矮化人的主体地位，此为算法研发过程中追求“工具理性”的典型表现。立法应当赋予科研活动伦理属性，将“人非工具”这一核心价值注入到算法研发过程中。（二）作为赋能手段的自动决策算法与算法应用失范在“自动

12、决策算法+应用场景”模式中，自动决策算法代表效率工具，应用场景则代表价值功能，它们的关系是作为赋能手段的自动决策算法产生的效率与作为应用场景蕴含的本体价值功能的关系。自动决策算法虽然有助于提升效率，但因以“人”为处理对象，必须回归价值判断，否则会造成既有秩序的功能偏移或异化。然而，人们似乎迷醉于技术的威能，过度关注工具/手段的有用性，追求社会管理的最大功效，而忽视了其他价值。例如，芝麻信用利用自动化算法和海量的各种数据形成“数字画像”，正在打造空前规模的“评分社会”或者说等级化的“排序社会”，个人有沦为算法客体的危险算法；个别政府为了实现“智安小区”，广泛推广人脸识别软件，导致“利益-风险关系

13、”失衡；法院借助算法判断犯罪嫌疑人再犯的可能性，可能会改变原有场景法律秩序的功能和基本边界，使得“保护犯罪嫌疑人”的价值取向消解。绝对化的工具理性既没有了古典理性中的整体和谐，也失去了近代启蒙理性中的人性关爱，技术的自由和满足构成了文明社会的发展目标，文明“本身则成了一种普遍的控制工具”。为了抵制“工具理性”，避免人沦为客体，价值理性登堂入室。在韦伯眼中，价值合乎理性是人“通过有意识地对一个特定的举止的伦理的、美学的、宗教的或作其他阐释的无条件的固有价值的纯粹信仰”。由此行为者“向自己提出某种戒律或要求，”并使自身“行为服务于他内在的某种对义务、尊严、美、宗教、训示、孝顺，或者某一种事的重要性

14、的信念”。在这个过程中，韦伯认为，不管采取什么形式，不管是否取得成就，甚至无视可以预见的后果，而“他必须这么做”。我们有必要借助价值理性引导自动决策算法活动向善而行。从比较法层面观察，欧盟通用数据保护条例之所以规范算法应用，目的也在于防止和个体有关的决定仅仅通过对个性特征的自动评估而作出，防止个体成为计算机程序的客体。需注意，应用场景中存在多元价值，叠加价值的存在一定程度上助推了算法应用过程的工具理性。公共安全、个人权利、经济效率等价值相互交叠，又很难确定顺位，使得算法治理举步维艰。例如，为了更好地防控新冠肺炎疫情，我国各地政府纷纷推出“防疫健康码”，并将之作为采取应急处置措施的绝对标准：持绿

15、码者无需隔离，持黄码者隔离7日，持红码者隔离14日。健康码算法自动分析地理位置、出行记录、社交面向等个人信息，作出相应的颜色判断，这一自动决策行为直接影响“出行自由”，但也有效地助力复产复工。在商业实践中，互联网公司往往使用Cookie程序收集个人的浏览信息，进而有针对性地进行个性化推荐。在“中国Cookie第一案”中，原告主张百度公司使用Cookie “侵害了朱某的隐私权，使朱某感到恐惧”。但需注意，个性化推荐活动在使得商家避免无效广告的同时，也使得消费者获取更能满足自己需求的商品信息。Cookie收集的个人信息也不能被界定为“个人信息”，至多可被界定为“可识别的个人信息”，避免施加过多的企

16、业责任和赋予消费者过多类型的个人信息权利。上述两个案例分别体现了高效管理与公民知情权、商业效益与个人信息保护之间的价值冲突。本体层面叠加价值的存在，使得价值取舍困难，工具理性则因指向明确而大行其道。自动决策算法规范，必须识别应用场景中的多元价值并协调价值冲突，否则将陷入“需求”中迷失方向、难以自拔。二、自动决策算法的内生性风险与程序性控制（一）应用科技的内生性风险和伦理性价值科研对象一旦由自然转向人类本身，科研活动就不再仅是纯粹的自然科学研究，同时也属于一种社会活动。将人列为研究对象的科研活动必然内涵伦理风险和社会风险，这种风险将伴随此类科研活动而存在，贯穿科研活动的全过程。例如，2018年的

17、“贺建奎事件”引起轩然大波，百余位中国科学家联合谴责这一人体胚胎基因编辑活动。2021年1月1日生效的民法典第1009条专门规定：“从事与人体基因、人体胚胎等有关的医学和科研活动，应当遵守法律、行政法规和国家有关规定，不得危害人体健康，不得违背伦理道德，不得损害公共利益。”民法典第1008条规范人体试验，该条也要求科研活动“应当依法经相关主管部门批准并经伦理委员会审查同意”。大数据技术、人工智能技术的研发同样依赖于人类自身，只不过样本由“基因”变成“数据”，由遗传信息变为人类生活记录：大数据技术以自动决策算法处理海量数据，关注相关性而非因果性，不以准确性为追求目标，可能会颠覆人类社会的既存价值

18、；人工智能技术是算法、数据和计算能力的结构性组合，通过学习人类行为，人工智能也可能习得人类的偏见、感情用事以及极端情绪。科研活动也属于社会活动，应当遵守科技伦理。G20人工智能原则强调应“负责任地管理可信赖的人工智能”，尤其是以人为本的价值观及公平性、透明度和可解释性等五项原则。中共中央办公厅、国务院办公厅于2022年3月印发的关于加强科技伦理治理的意见也强调应坚持以人民为中心的发展思想，要不断增强“人民获得感、幸福感、安全感”。算法活动应捍卫“人非工具”这一基本价值。但与生物技术、医疗试验强调事前批准和伦理委员会审查不同，算法伦理在研发控制层面突出表现为记录和报告义务、算法评估程序和闭环式算

19、法监管制度。（二）算法内生性风险的程序性控制规则1.替代算法备案的记录和报告义务当我们在使用自动决策算法时，我们至少应当了解我们的工具。然而，当下算法活动缺乏记录，而如果没有记录算法设计、测试、运行全过程，我们就无法有效地进行评估、追溯和验证复杂算法，更无法解释算法决策。记录是自动决策算法风险控制的基础性工具。算法活动记录既能帮助执法机关监督算法活动，同时也可以督促运营者在整个算法活动阶段考虑自动决策算法的合规与合法问题。立法机构应当要求设计者记录算法编程、训练数据、算法实践等有关信息，并作出必要的标注和说明。欧盟通用数据保护条例第30条详细规定个人信息处理活动的记录义务，欧盟委员会于2020

20、年发布的人工智能白皮书-追求卓越和信任的欧洲方案也指出，算法设计者/运营者应当记录并保存下列信息：训练和测试的数据集，包括对主要特征的描述及挑选数据集的方式；在合理情况下，数据集本身；有关编程和训练方法，构建、测试和验证人工智能系统的过程和技术等，包括避免歧视的相关设计。算法使用人有义务应监管机构的要求，提供算法活动记录，以便监管机构测试或检验自动决策算法。争议之处在于，立法机关是否应当要求算法使用人报备算法。欧盟1995年颁布的个人信息保护指令（Data Protection Directive）第18条和第19条均规定了个人信息控制者和处理者的备案义务。我国互联网信息服务算法推荐管理规定第

21、24条第1款也规定，具有舆论属性或者社会动员能力的算法推荐服务提供者应当履行备案手续。需注意，欧盟通用数据保护条例抛弃了个人信息保护指令的备案要求，以全流程记录义务取代备案义务。在制定欧盟通用数据保护条例的过程中，欧盟委员会指出备案义务增加了官僚主义负担和经济成本，过于加大企业和行政机关自身的负担。欧盟委员会主张废除一般性的备案义务，而要求全面记录个人信息处理活动，当然也包括算法活动的全流程记录；一旦监管机构要求算法使用人提供记录，算法使用人有义务及时、全面提供相应的记录。欧盟通用数据保护条例第30条采纳了欧盟委员会的建议，以记录和报告义务取代个人信息保护指令的备案义务，仅是在前言第89条针对

22、高风险的个人信息处理活动提出了报备要求。我国算法治理应当要求算法设计者、算法使用人记录算法活动，并有效存档，以供监管机关查阅。一般性的备案义务可能对算法使用人和监管机构都是一种负担，需要谨慎考虑设立备案义务是否必要。此外，中小型企业如果仅是偶然性地使用自动决策算法，且不会给个人信息主体带来严重危害，应当免予记录和报告义务，以免阻碍中小企业的智能化变革和创新。2.贯彻预防性原则的算法风险评估算法对相关性而非因果律的追求、决策过程不透明所产生的黑箱效应使得算法可能成为“大规模数学杀伤性武器”，严重侵犯人格尊严或公民的基本权利。自动决策算法的危害是巨大的，往往难以恢复原状。但无论是算法设计者还是算法

23、相对人，都无法全面预料自动决策算法可能带来的风险，由此需要多方参与进行算法风险评估。算法影响评估制度既使得利益相关者能够参与评估，有助于打破算法黑箱，同时也能够从实质层面检验算法设计的正当性和合理性，避免算法设计师成为恣意的“立法者”。算法影响评估的参与者应当包括算法工程师、个人信息保护顾问、第三方评估机构、监管机构、算法相对人代表等利益相关者。根据欧盟通用数据保护条例第35条第7款，评估的内容应当至少包括：对计划的处理操作和处理目的的系统性描述，以及（如果适用的话）对控制者所追求的正当利益的描述；对与目的相关的处理操作的必要性和相称性进行分析；对给数据主体的权利和自由所带来的风险的评估；结合

24、数据主体和其他相关个人的权利与正当利益，采取的计划性风险应对措施，包括保障个人数据保护和证明遵循本条例的安全保障、安全措施和机制。风险评估是预防原则在自动决策算法领域的具体表现。我国个人信息保护法第55条第1款第2项也规定了算法评估制度。但需注意，算法评估不能成为企业的负担，尤其不能阻碍中小企业的发展。监管机构可以提供正面清单和负面清单，前者规定必须进行风险评估的算法类型和应用场景，后者则规定符合特定条件时可以免除算法评估义务，以此实现算法风险评估与扶持中小人工智能企业之间的平衡。对于既不符合正面清单也不属于负面清单的情况，则应交由企业内部的个人信息保护负责人判断是否进行算法评估。3.实现闭环

25、控制的内外部二元监管体系现代治理理念强调打破系统界限，实现不同社会子系统之间的结构耦合。例如，为了整顿商业秩序，法律要求企业聘用负有特定责任的会计人员，增加企业的违法成本；基于保护环境的政治纲领，德国广泛要求在企业内部设立一些专门职位以保护环境，如环境入侵顾问、水源保护顾问、废品管理顾问、危险品安全顾问等。我国个人信息保护法第52条要求符合条件的个人信息处理者任命个人信息保护负责人，也体现了这种打破区隔、协同监管的理念。个人信息保护负责人是个人信息处理者“自己人”，但又负有特殊的法律义务；个人信息保护负责人的“无权”状态使其需要外部的数据监管机构的配合，以此抵抗来自企业内部的压力。我国个人信息

26、保护法第60条规定，国家网信部门负责统筹协调个人信息保护工作和相关监督管理工作，县级以上地方人民政府有关部门履行个人信息保护和监督管理职责。由此，我国建立了以个人信息保护负责人为核心、外部监管机构提供支撑和监督的二元监管制度。该机制同样有助于加强对算法内在性风险的闭环控制。从算法设计之初起，个人信息保护负责人将对之全流程控制-如果企业在算法设计时未及时通知个人信息保护负责人，企业将面临行政处罚；在算法设计过程中，个人信息保护负责人会告知算法设计师可能的法律风险，帮助算法设计师合规地设计算法；算法设计完成后，个人信息保护负责人将对算法决策后果进行必要之评估，并在算法评估报告中披露具体的算法设计师

27、以及对算法运行具体负责的员工。如果个人信息保护负责人认为该算法运行将有产生歧视、不公、侵害消费者利益等风险，其可以要求算法使用人进行改正；算法使用人如若认为报告夸大其词而拒绝改正，个人信息保护负责人可将报告递交监管机构。值得注意的，这套模式的有效运转一方面依赖于个人信息保护顾问具备高度的独立性，另一方面则依赖于其直接承担法律责任的可能。个人信息保护负责人毕竟是个人信息处理者的雇员，如果没有法律的优待，其很难对抗个人信息处理者的压力。因此，立法应当强化对个人信息保护负责人独立性的保护。这首先表现为解雇保护制度：个人信息处理者不得随意终止与个人信息保护负责人之间的劳动合同或委托合同。其次，个人信息

28、保护负责人在面临个人信息处理者不当干预的情况下，有权向监管机构寻求帮助和支持。最后，只有要求个人信息保护负责人对个人信息违法行为承担直接的法律责任，才能使得个人信息保护负责人充分履行法律义务。根据民法典第1191条第1款，雇员造成他人损害的，雇主应当承担替代责任。个人信息保护负责人如果能够躲入“雇主责任”的保护伞，则其将没有动力履行保护个人信息的法定义务。遗憾的是，个人信息保护法未对个人信息保护负责人在独立性与直接责任上有所设计。本文建议，主管机关以个人信息保护法为上位法出台专门法律文件完善我国的个人信息保护负责人制度，规则设计如下：个人信息保护负责人应当具备专业能力，并有权要求个人信息处理者

29、提供履行职责所需的必要帮助。个人信息处理者不得影响个人信息保护负责人及时、独立履行工作职责。个人信息保护负责人岗位仅次于个人信息处理者的最高负责人，薪酬不得低于同等岗位的平均水平。个人信息处理者不得终止与个人信息保护负责人之间的劳动合同或委托合同，但个人信息保护负责人违反法律、法规或无法履行职责的除外。个人信息保护负责人有权向国家履行个人信息保护职责的部门寻求帮助和支持。个人信息保护负责人怠于履行职责，造成个人信息主体损害的，应与个人信息处理者共同承担连带责任。需要说明的是，本文列举研发阶段的多种程序性控制措施，并非是要求算法研发均采用上述制度。采取何种措施防控风险，应当结合算法训练依赖的数据

30、类型和规模、算法潜在的对个人的影响综合判断。如果算法风险巨大，算法设计者不仅应采取上述三种措施，还应设计更为丰富、复杂的程序性控制机制（如伦理委员会制度）；反之，算法设计者可以择其一二，采取成本较低的程序性控制措施。三、自动决策算法应用失范的权利救济算法既是科学技术，也是赋能手段，其除了具备科技固有的风险之外，也因在商业和公共事业领域的嵌入式应用，不断冲击自工业社会以来形成的立法体系和治理模式，引发了诸多治理难点。在应用环节，我们当然也要贯彻程序性控制。但算法应用有着不同于算法研发的特殊性：算法应用直接作用于算法相对人。算法应用将影响算法相对人的合法权益-算法针对算法相对人的诉求作出决定，使得

31、个人有沦为算法客体的危险。为了捍卫人的主体性，法秩序有必要通过权利路径，赋予个人对抗算法决策的权利。与此同时，应用场景本身可能叠加多元价值，权利配置应注重实现价值平衡。若存在优位价值，权利配置亦应有所倾斜。（一）应用场景中的多元价值识别与算法功能偏移1.社会治理智能化和公民基本权利国务院于2017年印发的新一代人工智能发展规划强调应促进人工智能技术在行政管理、司法管理等领域的运用。人工智能的本质即是算法、数据和算力的系统结合。目前自动决策算法已经开始在社会治理领域推广使用。（1）在行政管理领域，以“秒批”“健康码”为代表的自动决策算法极大地提升了行政效率，但也可能侵犯公民的人身自由和知情权。健

32、康码出错的事例屡见不鲜，直接影响人们的出行自由。面对人们要求纠正错误的要求，湖北省政府在2021年3月的回复却非常简单：“人工无法干预或修改结果，这也是为了您的健康安全着想，请您理解。”行政行为错误将直接影响人们的出行自由，应当给予受影响者提供申诉的机会。此外，当人们行使“知情权”，要求政府解释健康码的运行逻辑和评级结果时，各地政府的答复也不能让人满意。杭州市委领导对健康码结果的解释是：健康码的结果是结合空间维度、时间维度和人际关系判断得出的-个人是否与病患处于同一空间；是否去过疫区；是否来自高风险国家和地区；填写健康码时身体不适；等等。这种粗线条的解释不能保护人们的知情权。（2）在司法管理领

33、域，司法机关为了减轻审判负担也在推动人工智能审判的发展和应用。但是，“正义”不存在普遍的标准，也没有明确的价值位阶，实现正义依赖于实质判断，算法很难确保“数字正义”的实现。此外，算法并非客观中立，设计师总要分配错误，在实践中也确实存在算法模型更强调“除恶务尽”，而非“不要冤枉好人”。例如，英国达勒姆警局和剑桥大学共同开发的危害风险评估工具（HART）采用随机森林算法平衡不同种类的错误。算法决策不可能不出现偏差，此时需要决定如何分配偏差风险。该算法选择的策略是，算法运行时会倾向于容忍谨慎错误，亦即严惩犯罪，宁可过高地评估再犯可能性也不轻饶犯罪嫌疑人。如此一来，该算法出现谨慎错误的几率是危险错误的

34、两倍。不侵犯基本权利，应是智慧行政、智慧司法的底线。在上述价值叠加的场景中，基本权利保护属于优位价值。2.智能经济与消费者权利保护欧盟部长委员会早在2010年就指出，自动决策算法有利于更好地细分市场和提供更好的服务，能够实现消费者和企业的双赢，可为用户、经济体和整个社会带来益处。自动决策算法能够降低商业风险和消费者负担。例如，金融机构借助自动决策算法分析海量替代数据，既在控制风险的同时极大地降低了运营成本，又使得没有存款记录、借贷历史的人能够获得贷款，推动“普惠金融”的实现；信用卡公司采用自动决策算法审核信用卡申请，极大地降低信用卡公司的管理成本，“免年费”成为可能。但是，模型的本质就是简化。

35、自动决策算法剔除现实社会中的复杂因素或者人类交流上的细微差别，不可避免地会作出不准确的决定。再者，数学模型基于过往的数据推算未来，其基本假设是模式会重复。一旦过去的数据表明特定人群竞争优势较弱，那么算法只会继续繁殖这种“歧视”。歧视是一个杂糅了文化、社会道德观念、历史和时间的因素，对于何种行为构成歧义并不存在统一的标准。但如果算法仅仅根据地域拒绝应聘者，根据搜索记录针对特定人调整价格，那么便构成歧视。例如，浙江喜来登度假村公司在运用算法筛选简历时，因闫某某为“河南人”而拒绝其应聘；消费者在“去哪儿”应用程序预订宾馆，使用不同的手机搜索同一酒店、同一日期、同一房型，其价格从169元到217元之间

36、波动。自动决策算法一方面降低商业风险和消费者负担，另一方面却可能造成歧视以及“大数据杀熟”。因此，法律对商业自动决策算法的规范配置，应当致力于实现个人利益和商业利益之间的平衡，既要鼓励商业自动决策算法发挥积极作用，也要避免算法侵犯私权，造成实质不公。综上所述，不同应用场景中存在复数价值，风险控制应以价值顺位为具体指引。（1）就公权力和公民之间的利益冲突而言，公民基本权利应当享有最优顺位。（2）当涉及商业机构和消费者之间的利益冲突时，自动决策算法可能影响消费者的法律状态或类似利益状态，但也因降低成本、提供更便捷服务等因素对消费者有益，法律对其的规范应更具弹性。（二）个人信息保护法中的算法权利配置

37、及其完善在识别复数价值的基础上，法秩序应当有针对性地配置权利，以捍卫算法相对人的主体地位。个人信息保护法第24条因此针对自动决策算法配置算法解释权和算法结果拒绝权，只是规则设计有些简单。1.不同应用场景中的算法解释权算法解释权是指，当自动化决策算法的具体决定对相对人有法律上或者经济上的显著影响时，相对人有权向算法使用人提出异议，要求提供对具体决策的解释。我国学者已经围绕算法解释权展开了丰富的研究，该权利对于保护个人权益有着明显的价值，但也因可行性问题而饱受质疑。本文所欲强调的是，自动决策算法协调的价值关系不同，使得算法解释权在不同的应用场景中有不同的意义。在公权力和公民之间的利益关系中，公民的

38、基本权利居于价值优位，公权力有义务解释具体的算法决策；在商业机构和消费者权益之间的利益冲突中，消费者请求解释具体的算法决策的，不能“强人所难”，也应以不侵犯知识产权为底线。（1）如果公权力借助算法管理社会，算法相对人应有权请求解释自动决策算法的具体决策。知情权是确保规范性期望不被动摇的关键。如果人们不了解行政处罚的原因，不理解自身为什么会败诉，则公权力行为的正当性和合法性将会遭受质疑。与智慧政府、智慧司法建设相比，公民基本权利保护应当处于更优的地位，公权力机关应当承受解释不利的风险。其一，全自动行政需要算法解释权制度为适当之限制。全自动行政在给人们带来便利的同时，也可能不当地影响人们的合法利益

39、。针对全自动具体行政行为，行政程序参加人应当有权了解自动程序投入前的实验强度、详细记录检测结果、运行代码和算法等，以保护算法相对人的合法权益。从比较法层面观察，2017年修改的法国行政法典规定每个独立的个体可以从行政机关获得下列信息：算法模型对决策的贡献程度和贡献方式；算法模型所依赖的数据及其来源；对参数的处理方式以及对各项指标的加权幅度；算法模型导致的结果。其二，智慧司法不能保证审判的准确性。目前司法智能化面临法律要素难以算法化、算法系统难以取代法律思维以及数据采集存在偏差等问题。法律人工智能只能被定位为“辅助手”的作用，它的价值应在于学习法律人的思维方式和裁判方法，以技术效应提升法律任务的

40、执行绩效。法律人工智能其实是另一种形式的经验证据，长期使用会使得司法机关有过度重视“专家”的经验证据的风险。算法解释权将使得司法工作者无法“惰于思考”，不能借助自动决策算法转嫁决策风险，逃避问责。因此，如果算法决策对公民/当事人产生严重影响，算法相对人应有权请求公权力机构解释具体的算法决策。（2）商业机构使用自动决策算法进行商业活动的，算法解释权规则应当考虑解释可能性以及与商业秘密之间的协调。与公权力机关不同，商业机构使用自动决策算法虽然可能导致歧视、大数据杀熟等问题，但并未严重侵犯基本权利。更何况，商业自动决策算法在客观上也降低了商业风险和消费者负担，提升了经济活力。因此，立法对商业自动决策

41、算法的规则配置不应强人所难，更不能侵犯商业秘密。算法的逻辑、参数、特征的权重以及分类等是企业的商业秘密或其他知识产权。在厦门云脉技术有限公司与厦门市图睿信息科技有限公司侵害商业秘密纠纷中，厦门云脉技术有限公司主张算法的核心参数特征（Gabor参数）是其技术秘密，该主张得到法院的支持；在凌某某诉北京微播视界科技有限公司隐私权、个人信息权益网络侵权责任纠纷案中，北京互联网法院认为，算法确实会涉及被告的商业秘密，告知和公开算法不属于对原告的个人信息进行保护的必要措施。2020年8月最高人民法院关于审理侵犯商业秘密民事案件适用法律若干问题的规定也将算法列入了技术信息的范畴，使其正式成为我国商业秘密法所

42、保护的对象。无独有偶，德国联邦最高法院在2014年的判决中明确指出，数据主体不得请求披露权重、评分公式、统计值和参考组的信息等信息，因为这触犯了企业的商业秘密，披露企业的商业秘密也明显不符合立法目的。欧盟通用数据保护条例序言第63条也明确强调，知情权不能损害企业的商业秘密、其他知识产权，特别是软件的著作权。当个人要求解释商业自动决策算法的决定时，算法解释权如何与保护商业秘密的法律要求相协调，将是司法的难点。与公权力使用自动决策算法的场景不同，当商业机构使用自动决策算法决策时，立法应当赋予消费者弱化的算法解释权：算法解释以客观具备可行性为前提，且以不触犯知识产权为底线。当然，考虑到商业机构才是广

43、泛使用自动化算法的主体，法秩序若允许商业机构以知识产权为由拒绝解释算法决策，可能会让私人权益遭受较大损害。本文认为，商业自动决策算法的规范应致力于实现算法效率和算法正义的平衡，私人权益的保护不应以侵害商业机构的知识产权为代价。更何况，算法相对人并非只有请求解释算法决策这一种选择。当算法相对人对算法决策不满时，其可以行使算法结果拒绝权，直接拒绝具体的算法决定，要求人工审核材料并作出判断。对于消费者而言，“给一个说法”的目的也是表达对于算法决定的不满。与其解释算法，不若允许消费者直接拒绝算法决定，一劳永逸地摆脱算法的影响。因此，即便商业机构以保护知识产权为由拒绝解释算法，也不会损害消费者的合法权益

44、。相较于算法解释权而言，算法结果拒绝权能够更好地实现算法效率与算法正义之间的平衡。2.平衡效率和公平的算法结果拒绝权个人信息保护法第24条第3款后半句规定，个人有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。据此，即便个人不能请求解释算法，其也可以直接拒绝接受具体的算法决定。但需注意，算法结果拒绝权的构造不能过度偏重任何一方的利益。目前个人信息保护法第24条第3款的构造过于粗糙，条文设计弹性不足，需要法秩序为进一步的补强。（1）算法结果拒绝权的基本逻辑。算法结果拒绝权使得算法相对人能够拒绝接受算法决策结果。算法相对人可以不接受自动决策算法的运行结果，但是不能拒绝自动决策算法处理自身的数据

45、，这使得算法结果拒绝权施加算法使用人的负担较小，更有利于自动决策算法的推广。欧盟委员会曾规定人们有权拒绝自动决策算法的应用，亦即人们享有算法应用拒绝权。但考虑到算法应用的商业价值和公共价值，欧盟议会和欧盟委员会均拒绝规定算法应用拒绝权，而改采算法结果拒绝权的设计：自动决策算法原则上是被允许的，个人不得拒绝自动决策算法的应用，但是享有拒绝自动决策算法结果的权利。为了推广商业自动决策算法，规则设计应具有较高的容错率，算法结果拒绝权最大限度地实现了价值平衡。（2）算法结果拒绝权的法律后果。个人拒绝接受算法结果，并非意味着金融机构必须发放贷款或政府机构必须提供绿码。此处的拒绝权并非民法意义上的撤销，其

46、仅是使得算法结果暂时不生效。因此，拒绝仅为一前置程序，避免个人在与算法使用人交涉时持续承受不利的算法结果。如果个人行使拒绝权，金融机构、政府机关应当提供人工干预，重新评估个人信息，作出决策。仍以健康码为例说明之。当自然人获得“黄码”或“红码”时，算法结果拒绝权使得该自然人的法律状态为“无码”。诚然，“无码”也不足以维护个人的行为自由，但“无码”状态至少使得个人不至于被强制隔离，个人尚享有免于侵犯的自由。再者，行政机关如果贸然提供“绿码”，也有侵犯他人健康和公共安全的危险，“无码”状态更有利于实现个人自由和公共利益之间的平衡。（3）算法结果拒绝权的法律豁免。算法结果拒绝权的规范目标在于实现个人利

47、益、商业利益和公共利益之间的平衡。为了实现这一目标，立法也可以规定特定领域中存在优位价值，限制算法结果拒绝权在该领域的适用。例如，保险公司在交强险理赔过程中需要使用被侵权人的个人信息（如医疗数据等），借以更准确地计算损害赔偿数额。精确计算损害本就是侵权法完全赔偿原则的基本要求。如果被侵权人拒绝保险公司使用个人信息并拒绝接受自动决策结果，全自动保险理赔的目标将无法实现。此外，法律也可能为了鼓励新型技术或新型商业模式的发展，要求个人不得在特定领域中拒绝接受算法决定。例如，欧盟通用数据保护条例序言第71条指出，欧盟或成员国可以为了监控、制止欺诈和偷税，或者为了保障服务的安全和可靠性，限制算法结果拒绝

48、权的适用。（4）算法结果拒绝权的程序性保障。在算法结果拒绝权受限的情况下，算法使用人仍然有义务提供人工干预渠道。由于设计者的知识局限、数据的偏差等，算法决策失当是不可避免的，在法律豁免场景同样如此。例如，全自动保险理赔算法可能将“蛋壳头骨”“玻璃人”等特殊体质视为不予理赔或者损害赔偿数额减少的事由；保费计算的权重分配也可能值得怀疑-驾驶记录在保险公司算法中的权重竟然远远不如信用数据权重高；信贷行业使用算法评分的“初心”是为了减少歧视，防止少数族裔和妇女被银行拒之门外，但大量替代数据的使用使得信用评分又回归到了“你们这群人”的时代；等等。算法决策结果容易出现偏差，人工干预才是保证算法相对人受到公平对待的关键。即便个人无法拒绝算法决定，个人信息处理者仍应当向算法相对人提供请求人工干预的途径，且确保有足够权限的负责人检视算法本身以及算法处理的相关数据。结合个人信息保护法第52条的规定，算法相对人可以向个人信息保护负责人申诉，要求个人信息保护负责人干预算法决定。个人信息保护法第54条规定，个人信息处理者利用个人信息进行自动化决策应在事前进行风险评估，并对处理情况进行记录。个人信息保护负责人应当结合风险评估报告以及数据处理记录判断自动决策算法结果是否合理。综上所述，本文建议主管机关在专门性指引中进一步完善算法结果拒绝权的法律适