【观点采撷】自动化决策与人的主体性

自动化决策与人的主体性

　　张凌寒

　　2021/12/7 15:40:36

　　【学科类别】人工智能

　　【出处】《人大法律评论》2020年第2辑（总第32卷）

　　【写作时间】2021年

　　【中文摘要】波音737飞机事件和美国卢米斯案件显示，自动化决策不断凭借大数据和高效率攻城掠地，接管和挤压人的决策权力。在诸多场景下，自动化决策被默认优先于人为决策，导致相对人被困于决策闭环（loop）中，一旦受到错误决策影响需付出巨大代价予以修正。不受自动化决策的自由不仅能够保障受到错误自动化决策的个体得到权利救济，更具有保护人类自主性的法理意蕴：自动化决策对人的数据化、计算过程的去人性化，造成了人类主体性危机；自动化决策以轻推与操纵的方式构建人的自主决策，使人丧失自由意志，引发了人的自治性困境。在欧洲1995年的《数据保护指令》和2018年欧盟生效的《一般数据保护条例》中赋予数据主体“不受自动化决策”和获得人为决策的自由，作为核查和纠正自动化决策的工具，为数据主体提供对抗自动化决策的私权路径。但其以人机对立假设为指导思想，不利于数据流动并有悖于未来发展趋势。保障人不受自动化决策的自由，应以保障人类的主体性和自治为原则。除了私权路径之外，仍应包含三个层次：首先从外部保障人类伦理嵌入自动化决策过程；其次确保人有拒绝自动化决策和“断网”的自由；最后应明确实质人为决策的标准，以保障人的自主决策与主体性地位。

　　【中文关键字】不受自动化决策；人为决策；人的主体性；机器伦理

　　【全文】

　　一、问题的提出：人可否不受自动化决策？

　　2019年3月10日，埃塞俄比亚航空一架波音737 MAX 8航班从亚的斯亚贝巴起飞6分钟后坠毁，157条生命消逝，举世哗然。飞行数据显示，事故由波音公司安装的自动驾驶操作系统（MCAS）造成。简单来说，这个系统可以绕过飞行员的人工驾驶，自动让飞机进入俯冲加速状态。事故中，这个系统与飞行员反复争夺飞机的驾驶权。由于默认设置是自动化决策优先于人的控制，导致飞行员反复关闭该系统仍难逃机毁人亡的厄运。

　　残酷的事故又一次拷问：机器接管决策权力的边界究竟在哪里？一直以来，机器（算法）决策因其人类难以企及的准确性和高效率攻城掠地，不断接管和挤压人的决策空间：日常生活的新闻阅读、购物选择、相亲匹配，由算法进行推送决策；交通监控系统代替警察开出罚单，法庭用算法决定犯罪嫌疑人是否获得假释……然而，从已有的经验来看，现行法律制度对人是否可以不受自动化决策并不明确。第一，并无有效制度保证个体不受已经做出的自动化决策限制，如“威斯康星州诉卢米斯案”中，卢米斯认为美国威斯康星州法院的“风险评估工具”，量刑系统做出的“高风险”预测是错误的，不难猜想其根本诉求是更改自己受到的自动化决策。一旦自动化决策出错，弱势的个体并无推翻自动化决策的有效法律路径，会被困于自动化决策的闭环（loop）之中。第二，并无明确界限划定哪些决策不应由机器做出。例如亚马逊使用AI摄像头识别工作效率低下的员工，计算工人消极懈怠的时间（time off task，“TOT”），直接生成解雇指令，绕过主管开除工人。又如我国一高校使用人脸识别技术，在课堂上监控学生不注意听讲、玩手机的行为，生成报告供老师参考。这些自动化决策应用是否符合伦理，个体是否有权利予以拒绝，引起了社会的广泛讨论。

　　本文以人的不受自动化决策的自由为研究对象，首先探讨不受自动化决策自由作为人工智能时代的权利，具有保障人自主性与自治性的法理意蕴；其次从具体法律制度切入，以欧盟《通用数据保护条例》（以下简称GDPR）为基础样本，深入分析不受自动化决策自由的私权框架、制度理念以及其得失利弊。通过对法理意蕴和具体制度的探讨，结合我国人工智能自动化决策的治理现状，为构建保障不受自动化决策自由的法律制度提供对策建议。

　　二、不受自动化决策的法理意蕴：保障人的主体性与自治性

　　不受自动化决策的自由不仅具有权利救济的工具性价值，更重要的是具有保障人类主体性与自治性的法哲学意义。不受自动化决策的自由首要价值在于打破自动化决策的闭环，赋予个体权利以修正机器自动化决策。更为关键的是，人工智能时代，技术首次超越了受人支配的客体范畴，产生了人与技术工具主客体颠倒的异化现象。

　　（一）不受自动化决策的自由免于人的主体性受损

　　在人工智能时代，万物皆可计算。自动化决策将人作为纯粹的数据，进行纯粹的计算。主体性哲学作为现代法权意识形态和制度体系的观念基础，历史性地推动了人类生存状态的现代性转型，最终落实为普遍的法权关系结构。但在人工智能时代，人遭遇了严重的“主体性危机”。

　　1.人的数据化和自动化决策的去人性化

　　人的数据化消解了人的主体性，将个体的人作为冰冷的数据，将群体的人当作可以被控制、分解、改变、交易、消费的数据库，成为人工智能时代的“物化”（reification）方式。人也在此过程中从决策的主体，沦为被决策的客体。

　　自动化决策的前提是人被数据化以方便机器计算。可识别的个人信息与行为数据中包含人格性的利益，对人格利益的处分只应属于人（数据主体）自己。因此，必须以用户知情同意为原则，人的数字化需要人自愿交出自己的数据。也是出于这个原因，个人信息应该比单纯的数据得到更周延的保护。个人数据进一步被商品化，数据在不同的企业、平台、政府之间被出售流通，在这个过程中，包含个人信息的数据成为具有流通性的商品，数字化表达的人被简单的视作在市场上买卖分享的数据资源。人工智能时代数据商品化程度令人触目惊心。2018年11月30日，万豪国际集团旗下喜达屋集团发生客户预订数据库信息泄露事件，高达5亿人的个人信息被披露流传于网络。甚至政府也加入了数据交易网络，2017年，荷兰情报和安全部门被披露从非法来源购买了大量的个人信息数据库。这些数据库包含超过一亿人的姓名，电子邮件和密码，它们或是被盗，或是源于黑客，在网络黑市上被出售。在一切皆可数据化的世界中，人已经变成一个个跳动的代码，数据成为通用的大众商品，交易网络中商业、政府和犯罪等数据需要交织在一起。

　　自动化决策的过程也是一个使个人和社会“去人性化”（dehumanisation）的决策过程。机器是从数学的角度进行计算，在一套人为定义的自洽系统内部进行符号推演，而该系统无需考虑人类的偏见、情感等。自动化决策（算法）的设计者和使用者一直依附于“技术中立”的保护伞下，声称无涉于价值判断。直到自动驾驶、差异化定价、操纵选举等违背人类道德和伦理的事件出现，自动化决策去人性化的一面才引起了政府和公众的担忧。

　　判断一个决策是否符合伦理道德对人类来说是个简单的命题，对于机器来说则十分困难。例如德国前总统武尔夫夫人案，在谷歌搜索上搜索她的名字时会自动联想“妓女”或“应招”之类的词汇。这些由机器基于搜索量、新鲜度等因素计算，并由算法发布的信息对其造成了巨大的困扰。一个决策结果的诞生可以分为能力层面（解决经验问题）与道德问题（回答应不应该），在能力层面自动化决策远胜于人类，但在应不应该这样的判断上，机器尚不能给出满意的回答，或者我们是否允许机器进行道德决策还是一个需要斟酌的问题。

　　2.不受自动化决策的自由可避免人的主体性消解

　　自动化决策对人的数据化和计算减损了人的尊严与人格，严重消解了人的主体性。进入人工智能时代，大数据和算法并没有成为加强人的主体地位的积极力量，人的物化和异化反而随着科技的发展而更加普遍和深化。一方面，人本身被客体化，被抽象为数字并嵌入整合到人工智能时代数据体系中，沦为生产过程的被动客体；另一方面，人的活动同人本身分裂和疏离，越来越不属于自己。除个人信息被数字化表达外，人的喜好、穿着、活动轨迹、饮食偏好等行为均被数字化、收集和分析。

　　人的主体性丧失（物化）并不是一个新鲜的概念，一直以来受到人文主义的批判。文艺复兴运动以人的理性描述人为万物之灵。人不再是客体（奴隶作为财产），而是成为了法律（权利）的主体，人也成为具有一定法律技术和伦理内涵的法律术语。法国大革命之后，人的主体性地位确立，成为现代法学体系的基石。进入现代社会，对女性的物化一直是女性主义者批判的对象。消费女性身体、用父权审美物化女性以及性交易、色情电影等物化女性的商业行为，均将女性作为父权性的和商业消费的客体，造成对女性人格尊严的消解。

　　正如康德所言，人不应该“仅仅作为手段”（nicht bloss als Mittel）而实存，更应作为目的而实存。从某种意义上说，人类进步的历史是避免将人异化为财产、客体、物等的历史。最简单的例子，许多国家的法律和国际法都秉持人体不应该成为商品的原则。禁止人将自己的器官作为商品销售作为典型的例子，说明了将人或人的一部分作为商品是与人类尊严并不相容的，人不是商品或是无法用价格衡量的。

　　自动化决策对人主体性威胁的极端表现是“无人武器”，机器对平民、房屋、财产进行计算评估而发动攻击，将平民伤亡作为战争附带损失计入成本。无人武器能够在没有人类直接参与的情况下选择目标，授权对目标使用致命武力发起致命攻击。而面对这种彻底去人性化的自动化决策，美国军方的政策是在发动致命袭击时，要保证人为干预决策（human in loop），即人必须作为决策系统的一个组成部分。致命袭击的决策周期系统被称为“杀伤链”，包括寻找，确定，追踪，锁定，执行和评估（find, fix, track, target, engage and assess）。

　　由此可见，自动化决策的前提——人的数据化使得人被物化（客体化），自动化决策的去人性化又进一步消解了人的主体性地位。人工智能时代，如何挽救和保留人的主体性地位，实质上成为法律制度设计的理论基点。

　　（二）不受自动化决策的自由保障人的自治性

　　自动化决策裹挟大数据通过对人的自主决策的建构，使人丧失真正的自由意志，消解了人的自治性。个体不受自动化决策的自由，能够保证人暂时离开机器对意思自治的操控，实现真正的自主决策。

　　1.自动化决策对人自由意志的建构

　　机器对人自主决策的操纵以“润物细无声”的方式进行。首先，虽然看似数据生态系统的建立完全取决于互联网用户的意愿，即没有知情同意，用户就不会分享和交出自己的个人数据。然而，这样的学说完全建立于一种假设上：消费者有充分的信息并且有自主决策的认知能力。在现实中，用户既不了解数据收集的范围和深度，也无法吸收和内化所涉及的大量信息，并且可能遭受认知偏差进而妨碍其对问题的系统思考。

　　其次，自动化决策通过“轻推”影响用户的自主决策。“轻推”是指通过微小的选择架构的改变，利用人们的偏见、爱好、日常习惯等认知来引导行为人决策。例如，新闻软件和视频播放软件通过自动填充消息与自动播放下一条视频，使得人们无需主动点击而在网站上花费更多时间，这是利用了“无底碗”认知理论。轻推被广泛应用于商业平台的个性化推荐算法，诱导用户按照平台设计进行决策。在轻推的基础上形成了“注意力经济”。用户沉迷于自动化决策带来的快感无法摆脱，甚至只能依靠公权力出手保护用户的意志自由。例如，我国网信办要求抖音推出“反沉迷系统”，以避免用户使用成瘾。

　　最后，轻推可升级为对用户思想和行为的操纵。用户的个人数据，以及对这些数据分析、计算的自动化决策在操纵行为中起着决定性作用。例如脸书的“情感蔓延”项目通过控制对50万名用户的新闻投放，用积极或消极的语言来表述新闻，来影响用户产生受其影响而自己发出积极或者消极的消息。再以亚马逊为例，其不仅为我们提供了所需要的各种商品与服务，甚至在我们都不知道需要什么的时候，就已经预先在物流系统中安排好了我们可能即将要买的商品与服务；对于社交媒体而言，“转发”“点赞”“讨厌”，这些简单的按钮已经取代了本来可能展开的更为理性而深刻的辩论与对话。

　　自动化决策操纵使人的“自主决策”成为了自动化决策引导的结果，逐步丧失对于意志的自主控制权。正如“设计伦理学家”特里斯坦·哈里斯（Teristan Harris）解释为什么人们在互联网上难以抵御某些网站，“屏幕另一端有上千人正在瓦解你的自律”。人类的自律与决策能力被计算、引诱、分散。自动化决策裹挟大数据优势，创造了技术成瘾的风险，对人的认知、情感和身体健康产生了大量的负面影响。

　　2.人的自治性的社会政治意义

　　人的自主决策，在历史中以自由意志、意思自治等多种面目出现，本质是一种人的基本权利。意思自治在资产阶级启蒙运动中赋予了人的意志与神的意志相同的法律地位——把个体的意志上升到可以由国家公权力来保护的法律地位上。意思自治原则把人从对神的依附中解放出来，成为了有独立人格和自由意志的人。正如康德所言，只有当人拥有自由意志，才有天赋的自由权利。

　　然而，人类的自由意志在被自动化决策轻推、操纵的过程中丧失了真正的“自由”。意思自治假设的前提是，人是理性的动物，有选择自己行为准则的能力，所以人必须对自己所选择的行为负责。人的自主决策早已被机器分割成了偏好、行为轨迹等数据，并且人的决策结果进一步形成即时反馈数据，以帮助机器更好操纵人的意志。例如无处不在的定向广告推送，随时随地拿起手机的下意识动作，都已经成为我们当前生活中习以为常的现象与事实。

　　启蒙思想家们提出的意思自治、契约自由开始被自动化决策瓦解，这种影响不仅及于用户的行为操纵，甚至扩展到了以意思自治和契约自由为基础的社会政治领域。“剑桥分析”公司及其母公司“战略通讯实验室”曾参与过世界各地举行的200多场选举活动，其成果包括利用脸书数据操纵2016年美国大选，2013年和2017年两次帮助肯尼亚总统赢得选举，以及操纵乌克兰大选等。为了对抗神和君主统治的意思自治、契约自由，已经成为了自动化决策用以主宰人的工具。

　　那么，如果人有足够强大的意志力，是否可以逃离自动化决策对人的决策的建构力量？这是极为困难的。每个人类个体认知资源极为有限，消费过多的认知资源而不采用自动化决策的辅助，意味着决策效率的严重降低，会给生活带来各种不便。这类似于“公地悲剧”：尽管平台数据缺失就会丧失预测和操纵的准确性，但每个人都无法放弃自动化决策带来的生活效率提升而停止交出个人数据。由于平台使用的自动化决策对人类社会生活的深度嵌入，离开自动化决策可能不仅意味着不便，还意味着自绝于社会生活，使人类不得已继续交出自己的个人数据并继续允许机器建构“人的自主决策”。

　　由此可见，要解决人的主体性和自治性难题，需要赋予个体不同层次的不受自动化决策的权利，使个体能够不被过度数据化、客体化，也保证个体在人工智能时代仍然能够不受自动化决策的操控，享有真正的意思自治。综上可知，不受机器的自由除了保障个体不困于自动化决策的闭环，受到有效的权利救济，更重要的是避免人主体性的消解和自治性的丧失。不受自动化决策的自由是保障人工智能时代“人之为人”的重要权利。

　　三、不受自动化决策自由的制度样本剖析：GDPR的实践

　　不受自动化决策的自由蕴含的规范价值，已经获得多国立法者的广泛共识。纵览全球范围相关立法，欧盟立法走在了保障人类主体性与自治性的前列。欧盟确立了对抗自动化决策的私权路径，制度框架的设计体现了绝对的个人信息自决权，以及对自动化决策减损人格尊严的高度警惕。

　　（一）GDPR的制度框架：一个私权的路径

　　对抗自动化决策的私权利在1995年《欧洲数据保护指令》即已存在，并在2018年实施的《通用数据保护条例》（GDPR）中进一步得到扩展。数据主体的一系列私权利包括不受纯粹的自动化决策限制，对决策提出异议，获得人为干预。虽然这项权利的行使受到种种条件的限制，但仍成为了救济数据主体和规制自动化决策的重要工具。

　　1.事前拒绝自动化决策的权利：个人信息的高度自治

　　总体来说，GDPR第21条规定数据主体享有拒绝自动化决策的权利，赋予数据主体自决的权利，以免受到机器的自动化决策影响。也就是说，数据主体有权拒绝任何与之相关的个人数据处理，即使在数据处理者使用自动化决策合法处理数据的情况下，数据主体仍然有权拒绝。这项权利的行使以数据主体对个人信息的高度控制为基础，以知情同意为方式。例如个人数据因为直接营销（direct marketing purposes）的目的被处理（包括数据画像），数据主体有权利行使拒绝权。这项权利的行使也存在一定限制，例如为了公共利益、公务职权必要、科学或历史研究等目的，数据主体不得拒绝机器自动化决策对个人数据的处理。

　　GDPR中有关个体反抗自动化决策的制度体现出个人对个人数据的高度控制权。这种高度控制权体现在：第一，赋予数据主体事前拒绝自动化决策的可能。在机器的自动化决策应用越来越广泛的今天，除法律规定的特殊情况，数据主体可拒绝机器根据个人数据对自身的自动化决策。尤其是在商业领域，赋予了个人极强的数据控制权利。例如，GPDR第21条规定，当数据集合的用户画像是基于直接的市场营销目的，数据主体有权在任何时候反对相关的自动化决策。可以想见，数据主体可能会大规模主张对自动化决策的拒绝权，类似被遗忘权在欧盟落地后的实施情况。第二，数据主体知情同意规则的严格化。与拒绝自动化决策配套的知情同意规则在GDPR中被进一步严格化，具体体现为明令禁止默示同意（opt-out）的规则，要对进行自动化决策做出自主的（freely given）、特定的（specific）、知情的（informed）、明确的（unambiguous）同意，且需以清晰肯定的行为做出（opt-in）。第三，对企业机器自动化决策限制增加。对企业应用自动化决策的严格限制既包括自动化决策事前告知义务的增加，也包括了停止自动化决策处理个人数据的义务，以及企业对机器自动化影响的事前与事后的评估等一系列相关的法律责任。总而言之，GDPR的拒绝自动化决策的权利赋予数据个体对数据高度的控制权，堪称个人数据绝对自治。

　　2.不受纯粹自动化决策限制的权利：防止数据主体的人格减损

　　对于已经发生的自动化决策，如何进行事后救济？GDPR的第22条规定，数据主体有权不受纯粹的机器自动化决策限制（the right not to be subject to a decision based solely on automated processing）。即如果这些决策结果是纯粹的机器作出的，且对数据主体有法律效力或重大影响，数据主体有权拒绝某些自动化决策的结果。这项权利的行使也存在一定的范围限制，如果这种有法律效力的纯自动化决策是经过欧盟国家法律授权或者数据主体明确同意的，则排除不受自动化决策的适用，但涉及儿童数据的自动化决策除外。

　　事前拒绝自动化决策的权利与事后不受特定自动化决策限制的权利，都可以使个体免受机器自动化决策。但二者之间存在巨大差别：拒绝自动化决策是一种事前权利，其适用范围更为宽泛，可以从源头上遏制自动化决策对个人数据的收集、计算，使得机器无法决策。而不受自动化决策限制的权利是一种事后救济，仅在产生特定的自动化决策之后，使得数据主体可以不受其结果影响。

　　不受纯粹自动化决策限制的权利，体现了传统欧洲政治文化，即人不可以作为纯粹自动化决策的客体。否则机器会将人视为要计算处理的数据，从而使其非人性化。不受纯粹自动化决策限制的权利在欧洲有长远的历史，早在1995年《欧洲数据保护指令》（DPD）第15条即赋予数据主体这项权利。该指令第15条的立法者认为，强有力的行政部门和私营机构对个人使用数据进行自动化决策的行为，使数据主体活在“数据阴影”之下，剥夺了个人影响决策过程的能力。基于数据的全自动化决策，不应该成为严重影响个人权利的决策的唯一基础。该条款的目的旨在保护数据主体的利益，使数据主体可以参与对其重要的决策。

　　GDPR的条文中特别强调的是“不受纯粹的自动决策的权利”，显示了对人与机器主客体错位的绝不容忍，这也是欧洲数据立法长久以来的历史沿承。尤其是饱含人类人格利益的个人信息作为自动化决策的对象，因为人的更加客体化而难以接受。早在1981年的欧洲立法文件中就谈到：“对自动处理的限制只适用于特殊类别的数据，例如披露有关种族出身、政治见解、宗教信仰、健康或性生活的信息的数据。对于重要、敏感的主题，必须由人类处理信息；如果机器这样做，就会将个人视为要计算处理的数据，从而使其非人性化”。不受自动化决策的权利是人在机器面前保留自身的主体性的努力。

　　3.提出异议与获得人为决策的权利：对自动化决策的修正

　　除去直接拒绝已有的自动化决策，数据主体还可以对具体的自动化决策提出异议（to express his or her point of view and to contest the decision）。相应地，数据主体需要一个新的决策，即获得人为干预的权利（obtain human intervention on the part of the controller）。类比而言，GDPR第22条提供的系列私权利如同当事人推翻法院判决的权利一样：拒绝自动化决策结果与提出异议（contest）类似于提出上诉，而获得人为决策则相当于获得新的判决结果。

　　对自动化决策提出质疑与表达观点，即数据主体可以对已经形成的自动化决策结果，提出质疑或者反对意见，并要求获得人为干预。适用的自动化决策的范围包括基于数据主体同意、履行合同需要或根据法律及其他规定所形成的自动化决策结果。而义务主体是数据控制者，并且这是采取适当措施保护数据主体的自由权利和正当利益的基本（at least）内容。

　　获得人为决策的权利，作为在自动化决策错误或遭受不公平待遇的情况下，数据主体享有的补救性权利。这种获得人为干预的权利被看做是保护数据主体权利、自由与合法利益的适当措施。制度目的是通过人为干预，获得一项新的决策结果。

　　通过梳理可得知，GDPR在人对抗自动化决策的制度中构建了事前的拒绝自动化决策的权利，以及事后对不受纯粹的自动化决策结果限制的权利，数据主体也可对自动化决策提出异议并要求获得人为决策。GDPR为人对抗自动化决策的制度充分赋予了人（数据主体）高度的信息自决权，并以保护人对机器的主体性为制度目标，以人的决策作为监督与纠正自动化决策的方法。

　　（二）GDPR的理念及其制度偏差

　　GDPR相关制度中对自动化决策的防范路径为拒绝提供数据，隐含着人机之间存在对立关系的假设。拒绝自动化决策的权利体现了GDPR对于自动化决策应用的高度防范。自动化决策的“粮食”是数据，数据的正确性和全面性决定了自动化决策的质量与准确性。根据GDPR的规定，数据主体有高度的信息自决权，可以拒绝将自己的数据“喂”给机器。这必然影响到自动化决策的质量。GDPR中拒绝自动化决策的权利本身就构建了人与自动化决策之间的竞争性对立关系：即认为自动化决策损害人类利益，于是通过人类拒绝提供个人数据的行为损害自动化决策。

　　这种对人格尊严的高度保护和对自动化决策的警惕和防范有着深远的历史因素，与整个20世纪机器自动化数据处理系统一直与欧洲个人与群体遭受的虐待和侮辱有关。20世纪初，欧洲和美国开始通过数据统计提高社会管理效率。当时对个人数据的自动化处理的机器是赫尔曼·霍勒里斯（Herman Hollerith）发明的的打孔卡片机，这种机器被用来进行人口普查。这种通过人口普查进行社会治理的传统在美国沿袭下来，发展成为美国数据文化的基石。但是，将人数据化的人口普查成为了欧洲人的噩梦。20世纪30年代，纳粹官员创建犹太登记处的基础就是人口普查的数据，进一步通过人口普查数据找到受害者。后来将人口数据进行打孔卡片的机器处理的技术被用来接收和跟踪集中营内的犹太人行动。第二次世界大战是欧洲许多政治和社会变革的催化剂，而欧洲数据保护立法很大程度上是对于纳粹滥用数据处理的回应。因此，不难理解为何德国在欧洲率先通过了1970年《一般数据保护法》，并逐渐通过成文法与判例使个人信息自决权成为宪法上和私法上的双重性质的权利。这种理念也充分体现在了从20世纪70年代到最近的GDPR欧洲数据法律制度中，一直沿袭至今。

　　概言之，历史的惨痛教训使得欧洲法律对个人数据的自动化处理高度警惕，严加防范。但此种人机对立理念下，制度的建构与实施也出现了一系列现实问题：

　　1.私权路径的权利减损

　　人机对立理念下的一系列拒绝自动化决策与推翻自动化决策的权利由于权利适用的诸多条件语焉不详，以及现实中的困难，很难发挥实际作用。GDPR中人拒绝自动化决策与推翻自动化决策的系列权利，条款适用本身存在较大问题。

　　第一，GDPR第22条适用范围非常狭窄，仅适用于纯粹的机器自动化决策系统，即人没有参与到机器自动化决策中。欧洲的学者指出，很少有哪些纯粹的自动化决策做出的决定是真正重要的，而影响个人权利的自动化决策仅仅加盖人的图章就可以规避第22条的适用。为此有学者讽刺一只受过训练的猴子即可胜任盖章工作。因此，推翻自动化决策的相关权利仅适用于非常有限的案件，并且不包括最相关的、歧视性的、有害和普遍的案件。基于同样的原因，GDPR第22条的前身，1995年的《欧洲数据保护指令》第15条在存在的二十年间也经常被回避。尤其是2014年德国联邦法院对SCHUFA案件的终审判决，更是以自动化决策的基础公式受到商业秘密保护为由，彻底将德国的信用评分系统排除出DPD第15条的适用范围。由于该法条实践中并未被使用，被学者称作纸牌屋（意即“不切实际无法实现的计划”），可以预见GDPR第22条也面临着类似的命运。

　　第二，GDPR相关制度适用条件非常模糊。首先，GDPR第22条适用于产生法律效力或其他重大影响的决定，而其中的“重大影响”并无明确定义。例如，一些商业领域的自动化决策看起来对个人的影响微不足道，但是对社会的整体影响不容忽视。例如精准推送对于社会公平和阶层分化可能产生重大的影响。其次，拒绝机器自动化决策的权利有一定的限制范围，如允许基于“合法利益”处理个人数据进行自动化决策，但是究竟合法利益由谁来判断，标准为何并不清楚。法律的模糊使得数据的处理者和个人并不知晓行为的边界与权利的具体内容，适用较为困难。

　　第三，GDPR相关权利行使的现实困难。自动化决策的不公可能直接导致个人行使对抗自动化决策的相关权利。但是自动化决策包含的歧视和偏差必须通过大量群体决策的样本才能显现。大多数自动化决策的歧视和偏差是无意的，而非编制算法阶段有意的偏差。研究人员发现，自动化决策存在的偏见与歧视问题往往只会在整个用户的语料库分析中方可显示出来。因此，以个人力量发现与对抗自动化决策的不公存在现实困难。

　　2.信息自决的作用局限

　　GDPR的第21条和第22条赋予了数据主体对个人信息的高度自决权。而个人信息自决权作为欧洲立法上同时具有宪法性质和私法性质的权利其自身有重大局限。

　　第一，由个人自决的信息对自动化决策的质量并无显著影响。高度的信息自决权究竟包括哪些个人数据并不明晰，GDPR对数据的扩大化解释仍不能涵盖自动化决策所使用的数据。“个人数据”在GDPR第4条第（1）款中定义为，“与已识别或可识别的自然人有关的任何信息”。而信息自决权涵盖的数据如果以可识别性作为关键要素，应考虑到数据控制者所有合理且可能使用的手段，而这显然是无法实现的。首先，信息自决权无法涵盖匿名化的数据。自动化决策可能根据曾经是个人的、后经过匿名化处理的数据。如由社交媒体收集的个人数据制作的配置文件，用于广告精准投放等针对性营销。其次，信息自决权也无法涵盖个人数据以外的、对自动化决策有重要作用的数据，因影响个人重大权利的自动化决策可能并不涉及个人数据。例如自动驾驶汽车事故可能杀死乘客或行人，但自动化决策所涉的数据可能仅仅与交通相关，并不包含个人数据。因此，高度的个人数据自决权对对抗自动化决策的效果存疑。

　　第二，信息自决本身就受到多重限制，与自动化决策应用的多场景现实不符，很难起到对抗自动化决策的作用。信息自决权看似赋予数据主体对自身数据的控制，但实际中存在多种消解信息自决的规则，仅仅在以保护周延著称的GDPR中存在30多种基于公共利益的限制以及非经过数据主体同意可以进行数据收集的情形。自动化决策早已应用于诸多生活场景，个人早已自愿或被迫分享了大量个人信息（例如进入公共区域的人早已对人脸、形象等生物识别信息失去了控制）。在自动化决策多场景应用的情况下，通过信息自决来对抗自动化决策不仅不现实，甚至类似于乌托邦式的幻想。

　　由此可见，高度的信息自决权拒绝提供数据而对抗自动化决策，但其存在数据范围模糊、现实多重限制的诸多问题，并非对抗自动化决策的有效路径。

　　3.与未来趋势的冲突

　　人机对立理念与互联网社群的特性、信息自由的大趋势与人工智能产业经济的发展相悖，与整个社会数据流通与信息自由的大趋势背道而驰。基于此理念的法律制度不仅未必能够实现对权利的周延保护，甚至可能阻碍人工智能对社会福祉的促进，最终减损个人权益。

　　第一，事前拒绝自动化决策的权利支持绝对的信息自决，实质上阻碍数据的流动和利用。个人信息自决虽然赋予了数据主体对数据的控制力，但是这种初始的权利设置对于数据流动形成了障碍。GDPR第21条延续了1995年《欧洲数据保护指令》（DPD）数据主体反对数据控制者在商业目的下对个人数据进行处理和利用的权利，甚至将这项拒绝自动化决策的权利不限于数据的商业利用，甚至在一定范围内的数据处理者合法处理数据的情况下，依然能够予以拒绝。高强度的信息自决使得个人与数据之间更有粘性，更倾向于在拒绝对个人数据的收集和使用，从而降低数据流动阻碍创造价值。

　　第二，人机对立的理念与历史趋势背道而驰，导致相关产业的发展落后。对个人权利的保护是否必须以减损和限制自动化决策的方式实现？人工智能时代，经济的发展要求数据的公共性、开放性和共享性，将个人数据控制在个人手中拒绝分享使用无疑会减损数据的价值，而个人的权益却得不到提高。欧洲的数字经济竞争力衰减已经成为事实：据统计，2018年5月GDPR生效以来，许多广告交易平台及其他广告发布商的欧洲广告需求量下降了25%到40%，一些美国广告发布商已经暂停其欧洲网站上的所有程序化广告。2018年11月，美国国家经济研究局发布GDPR对科技创业投资短期影响的报告显示，从2017年7月至2018年9月，GDPR导致很多担心法律风险的企业宣布停止欧洲服务，造成中小企业陷入融资困境，降低欧洲市场活跃度，交易数量和私募资金数量明显下降（分别减少了17%和40%），在短期内削弱了欧盟数字经济的竞争力。

　　由于历史的惨痛教训，欧洲形成了人格保护与自动化决策对立的立法理念，并贯穿整个20世纪的数据立法史。人机对立理念下的法律制度，以个体的人格权保护作为至高目标，对自动化决策高度防范与警惕，这样的制度必然导致自动化决策受到广泛限制，人工智能相关产业发展缓慢，而由于种种现实原因，人格权保护的制度目的与保护人主体地位的价值理念也未必能够真正实现。

　　四、不受自动化决策自由的制度构建：超越私权的路径

　　在进一步探讨不受自动化决策的自由如何落地之时，应该跳出私权利路径的局限，以更为广阔的视角进行相关制度设计。由于公私领域借由算法交织而成了复杂的权力体系与庞大架构，个人处于权力结构位置的最末端。因此私权路径存在的多种弊端，应通过外部制度的设计予以规避，以矫正个体与技术权力悬殊的力量对比。突破私权路径，需在自动化决策的不同层面嵌入人的伦理道德。私权意义上的信息自决，也应适度扩张其范畴，保障个体有离开自动化决策与“断网”的自由。对于修正自动化决策的人为决策，也应明确其标准以使作用落在实处。

　　（一）突破私权路径：从外部将伦理嵌入自动化决策

　　仅依靠私权路径无法满足对权利主体的救济需要，应从自动化决策各流程嵌入人的伦理道德，以保证个体受到的自动化决策包含人的伦理道德，而非“纯粹”的自动化决策。嵌入又可以分为两种方式：第一，人设计法律制度以在数据保护等方面嵌入伦理道德；第二，法官在个案司法裁量过程中要求伦理道德嵌入自动化决策，第三，平台在自律中以人工核查的方式将伦理道德嵌入自动化决策。

　　无论是数据政策还是自动化决策的规制，实质上都需要平衡公民个人权利和数据自由流动的经济利益，在各种利益之间找到平衡。利益的平衡并不必然需要道德判断，但是当利益中有人的人格利益和权利时，这种利益平衡的判断就有了道德维度，以应对技术快速发展带来的众多道德模糊地带的数据应用。当法律因滞后性无法给出明确答案时，道德维度下的利益平衡成为了判断的标尺。

　　第一，通过对自动化决策的事前评估将伦理道德嵌入自动化决策。欧盟的数据立法中把伦理道德作为规制自动化决策的重要手段。在欧盟的数据保护体系中，数据评估是极为重要的工具。这种数据收集、使用方式的评估实质上也是对于自动化决策所涉及的利益进行评估。欧盟的立法者们认为，任何国家有关数据和自动化决策既不能也不应该仅仅是技术上的应用，这也是数据保护评估与GDPR分离的关键原因。政府需要平衡公民个人权利和数据自由流动的经济利益。这种利益平衡也体现在了GDPR的条文中，根据条文，各种利益的平衡是为了数据控制者（例如平台和政府）与第三方追求的合法利益而处理个人数据。简单的说，处理“合法利益”的目的变得越来越重要，需要进行背景的评估。这种合法利益包括人的基本权利和市场发展之间的平衡，而无论是数据评估还是GDPR本质上都是这些利益之间的平衡。

　　第二，法官在个案中通过道德判断将伦理道德嵌入自动化决策。GDPR本身包含了很多需要进行道德判断的条款。例如，第24条关于数据控制者义务的一般规定，GDPR采取了基于风险的判断方法。它要求，监管者必须考虑到“自然人权利和自由的可能性和严重程度各不相同的风险”。GDPR序言部分第75项中描述了各种值得保护的个人权利和自由的特定风险和危害，但抽象条款在司法实践中的解释和应用仍需要法官的道德判断，包括平衡信息社会中数据使用的风险与收益，这种判断包含着道德维度的利益衡量。人类的判断是无可取代的正义制度的组成部分，也是数据计算无法达到的。

　　第三，自动化决策的使用者（平台）通过人工核查将伦理道德嵌入自动化决策。脸书拥有全世界最好的算法师，却仍然必须雇佣人工来进行内容审核，以达到各国的合规要求。在自动化决策被使用作为司法辅助的国家，也应强调人在司法决策中的责任。我国推行智慧法院，国外一些法院也采取了算法系统帮助量刑和衡量是否假释，司法活动中自动化决策扮演越来越重要的决策作用。司法决策关乎人的自由甚至生命，包含更多人格尊严的道德判断，但是警察与法官此时同样是大数据的消费者和客户，与亚马逊或脸书的用户并无差别，依赖于开发提供数据分析的程序的工程师。尽管司法所涉及的行政和法律程序可以提高效率帮助人类做出判断，但是不能最终消除人在司法程序中的责任，这包含了对证据的判断，对不同解释的采纳，达成合理的意见。在司法程序中采用自动化决策的同时必须依赖于人的理性。

　　人本主义数据伦理是认识和解决数据和自动化决策的重要视角。人本主义数据伦理倡导数据共享，消除数据孤岛，挖掘数据的潜在价值，发挥数据的效用，鼓励创新，增进人类福利。同时，人本主义数据伦理提倡有规范的数据共享，为数据共享设立边界，防止数据滥用。个体权利和数据安全是其重要边界所在。人本主义数据伦理尊重个体的数据权利，确保个体的自由权利，实现人的全面自由发展。数据保护可以或者应该被解释为保护个人身份或者个人诚信，因为个人数据在人工智能时代是个人身份和能力方面的重要组成部分。

　　（二）扩张信息自决：保障人离开自动化决策与断网的自主性

　　信息自决的概念本身即局限于私权领域，而信息自决的概念和适用范围不仅应包含个人对自己数据信息的自决权，更应扩展至包含对个人信息是否受到自动化决策、是否联网的自决权。打破与逆转人被客体化的过程，应通过制度设计来保障人的自由：“逃离”自动化决策干预的自由。而如何逃离自动化决策？可分为两种逃离的程度：第一，逃离自动化决策程序的自由；第二，离开网络的自由。

　　第一，离开自动化决策的自由，是指通过法律保障人不受自动化决策控制和引导，为人提供可基于意思自治进行决策的自由。例如我国《电子商务法》中要求电商平台提供“非个性化”的搜索结果，一定程度上提供给用户逃离无所不在的自动化决策对人类自主决策的诱导，为人的意思自治开辟“绿色通道”。这是某种程度剥离自动化决策对人自主决策的控制和干扰的尝试。

　　离开自动化决策的自由需要法律的保障，这能够保证人类所处的客体化的进程仍然掌握在自身手中而非机器手中。离开自动化决策的自由已经在多种法律制度的设计中初见端倪，典型如自动化决策的透明度制度。透明度制度本质是信息披露，即使得人类可以获知自动化决策的设计目的和引导人类决策的路径，以使人具有依靠自己主观能够离开自动化决策诱导的能力。例如，在魏则西事件后，联合调查组要求百度采用以信誉度为主要权重的排名算法并落实到位，严格限制商业推广信息的比例，对其逐条加注醒目标识，并予以风险提示。此为打破了自动化决策对于搜索结果对人类决策的引导，让人能够通过信息披露获得真正自主决策的权利。

　　然而，离开自动化决策的自由如果仅依赖信息披露制度，是远远不够的。除提供选择，仍应要求自动化决策的使用者将用户逃离自动化决策的程序简单化。例如，一些网站的会员资格申请非常容易，但是一旦取消，则要求用户必须填写繁琐的表格。平台通过增加离开的成本来避免用户逃离自动化决策。这仍然意味着对于人有限认知资源的消耗，而必将在追求效率的现代生活中被边缘化而无法发挥应有作用。因此，应由法律强制要求自动化决策的使用者在为用户提供离开自动化决策的路径时，保证其程序与进入自动化决策的复杂程度相同。

　　第二，离开网络的自由。人是否有离开网络的自由？与宗教信仰自由包含着信仰与不信仰宗教的自由类似，能够上网和离开网络都应该成为这个时代人的基本自由。当网络兴起之时，网络被认为“赋权”（empower）于弱势群体，获得网络连接成为国际公认的基本人权。而在人工智能时代，离开网络，拒绝被客体化也应该成为自由的题中之义。

　　在万物互联导致人的内在与外在客体化的过程中，最先受到侵害的是社会的弱势群体。网络尚未实现监视和打击犯罪的大同理想，社会最底层的民众已经成为被捆绑于网络之监视的对象。

　　离开网络意味着脱离现代生活，是否应通过法律赋予人离开网络的自由？在网络之下人是否能够享有满足社会生活需要的服务？例如某些服务只接受网络支付方式，实际上就是将不愿或不能网络支付的人排除在服务范围之外。法律可考虑要求某些服务必须同时为使用和不使用网络的人提供，以免造成对不上网的人的歧视。网络的功能应该是带给人类方便，而并非剥夺人在现实社会生活的权利。

　　（三）明晰修正路径：确定人为决策的范围与标准

　　让人获得人为决策，就是恢复人类主体地位的应对措施。人类干预自动化决策的方法为：一是打破封闭的自动化决策，保证人在决策环中（human in loop），二是让人类来理解机器语言，基于此两点的制度设计也成为了人试图保留主体性的主要方法。2016年7月16日，威斯康星州最高法院禁止法官将分数作为被告监禁或释放的决定性因素，要求威斯康星州的法庭保证人在决策循环中的作用。然而，上文提到的威斯康星州诉卢米斯一案中，法官直接采纳了自动化决策的建议。由此可见，很多的人为决策实质上已经是自动化决策，人在决策过程中起到的作用只是将机器的打分，转化为了人做的决定而已。那么，一个实质性的“人为决策”中，要求人对自动化决策达到了何种程度的影响呢？

　　第一，要求人的因素可以真正影响决策结果，即要求参与决策的人批判性的分析由算法产生的自动证据。这将推动未来的数据保护官或同等的内部人员对数据分析的了解，将对决策没有价值的数据排除掉。另外，涉及自动化决策整理的修正，即人类的数据分析师要排除无意义的相关性数据（数据洗涤），机器学习出现偏差影响未来的决策。

　　第二，要求人完全可以从各个环节解释决策。参与干预决策的人，应该参与决策的任何环节，包括但不限于评估决策，评估机器技术，执行一些反事实测试（通过输入修改决策）等。原因在于，自动化决策的算法具有不可预测性和动态性，而且自动化决策结果和大数据之间是相关关系，而非人类所理解的因果关系。因此，要求干预决策的人必须了解机器算法的逻辑（而由于深度学习技术通常情况下数据控制者是不了解算法逻辑的）。

　　第三，如果不能做到以上两点，则应该由人做出具有合理理由的新决策。

　　从反面来说，人只是在名义上干预，而实质是将机器评分转化为结果的决策，不应被认定为实质性的人为决策。据研究，算法的自动化决策系统使用“超级推理”，能够以微妙而有效的方式塑造用户的感受和行为，破坏个人的独立判断力。决策中人类形式上的参与并无法消除自动化决策的实质。有研究指出人类极容易受到“自动化偏见”的影响，即人即使认识到可能另有选择，也更倾向于计算机判断。特别是在分析和预测方面由机器辅助进行的“人为决策”，例如雇主对员工工作表现的评估，银行对客户经济状况的评估，保险公司对投保人健康状况的评估，社交媒体平台对用户个人偏好的评估等，通常都基于机器评分系统作出，人只是在名义上进行决策干预。这种被动的“人为决策”完全基于自动化决策提供的证据，应该属于GDPR第22条第（1）款规定的全自动化决策。

　　总体来说，一个决策可以被称为“人为”决策，应具备典型的人类功能，尤其要包含人类的判断能力和决策的敏感性。如此，人为决策（干预）才有实际的意义。有了人为的干预才能让相对人实质上获得自动化决策的解释能力。因为机器基于大数据相关性作出的决策忽略了法律理论和法律规定对因果关系的要求。英国和爱尔兰2018年的数据保护法案正在向这个方向发展。

　　五、余论：人工智能时代的人

　　自动化决策带来的人的主体性问题似乎印证了赫拉利在《未来简史》中提到的观点：人的本质也是算法。这种技术权力对人的主体性的消解作用会逐步演进——从技术改善人类生活，到技术重新设计人类，再到废除人类的灭绝主义。这一过程被同样的“进化”信念驱动，将人类视作需要改进的客体，而技术则是改善的工具。与赫拉利一样支持技术乌托邦的观点甚至认为，以一种使其与计算机的运作几乎无法区分的方式来定义心灵的生命是没有障碍的。人类的独特性应该被理解为一种特定的生物结构，就像计算机配置一样，它是一个进化规模的短暂事件。对技术的崇拜在人工智能时代发展成为了数据宗教，数据宗教否定了人类的心灵，从而将一切精神性的东西神性地位开除出去，因为所有这些东西都可以通过算法生成、控制，人类生命的意义也不再那么崇高和绝对正确，它只是数据系统的一个组成部分。

　　“人”的概念在技术权力的推动下不断“滑坡”（flop），而且这种趋势现在看来不可避免。首先，计算机硬件将变得更快，更便宜，更强大，更复杂，对大脑的研究将继续探索意识的“力学”，技术对人脑的模拟并非技术上的不可能。其次，商业利益的驱动，政府监管需求等将出于不同利益推动自动化决策的进步。最后，人已经接受了数据化、商品化、客体化，接受了以人工增强身体表现（整容、机器辅助决策、基因编辑），微妙的人与机器的界限很有可能在无意识间滑过。技术已经不仅仅是人类的工具和媒介，而是一种深刻改变人与自然关系的力量。技术就是人的欲望和力量的体现，是权力的象征。隐藏于自动化决策背后的力量，是自动化决策的使用者，平台和政府。在对人工智能时代人的客体化过程的描述中，看到的是技术权力对于普通民众、弱势群体的进一步碾压。

　　如何以法律制度保护人工智能时代的“技术难民”，使人保有作为人的尊严？法律制度应思考技术给人的主体性地位乃至人类命运带来的巨大后果，其中对技术本质的认识和对技术的警惕是责任伦理的首要任务。司法决策是否可以全部委托给自动化决策？儿童收养的福利决策是否可以由机器作出？面对人工智能科技发展的狂热，哪些领域不应由自动化决策染指？即使技术成熟（类似基因编辑与克隆），某些自动化决策是否也应禁止研发？

　　迄今为止，法律的态度仍不明确，各方面在人工智能伦理方面的努力或有成果或遭遇挫折。2017年生命研究所在阿西洛马会议中心召开了人工智能伦理道德会议，提出了阿西洛马原则，提出应尊重人类价值（第11条），包括“人的尊严、权利、自由和文化多样性”。2019年4月欧盟颁布了高水平专家组撰写的《可信任人工智能的伦理框架》，提出了AI的基本宗旨之一为“确保尊重人的自由和自治”。但谷歌在2019年尝试的“AI伦理道德委员会”却由于多方意见不统一遭遇失败。如何通过法律制度和其他治理方式，将伦理道德嵌入人工智能，保有人类的尊严并承担未来人类命运的责任，仍是一个亟待各方加入的话题。

　　1942年阿西莫夫在其科幻小说中提出了“机器人三原则”：第一，机器人不得伤害人类；第二，机器人必须遵守人类的命令，除非命令与第一原则冲突；第三，机器人必须保护自己，只要不与第一或第二原则冲突。再次回想波音737中与机器争夺决策权的飞行员，受到机器量刑却无力反对的“卢米斯们”，“机器人不得伤害人类”的原则还是科幻吗？

　　【作者简介】

　　张凌寒，北京科技大学文法学院副教授。

　　转自北大法律信息网