张凌寒：算法评估制度如何在平台问责中发挥作用 | 上海政法学院学报202103

内容提要：算法评估制度脱胎于欧盟的隐私影响评估制度，以风险预防为目标，治理时点前移，主张共同治理。但我国《个人信息保护法（草案）》中的算法评估制度与其他制度关系不明，评估后果不清晰，存在与平台责任追究的衔接失调问题。应围绕建立平台问责体系发挥算法评估制度的作用，具体包括：扩张算法评估标准，将涵盖法律规定、技术伦理与平台承诺的标准作为平台主观过错的认定标准；协调评估制度与算法透明和算法解释的关系，设置覆盖算法自动化决策全生命周期的问责点；明确算法评估与不同监管强度以及平台责任的关系，并赋予算法评估结果实质性意义，尽量避免算法评估制度“软化”与“泛化”的趋势，发挥其在平台问责体系中的核心作用。

关键词：算法影响评估；平台责任；算法问责；个人信息保护法

目次

一、算法评估制度的演进及确立

二、算法评估制度与平台问责的衔接不畅

三、以平台问责为中心构建算法评估制度

四、结语

　　2021年4月末，《中华人民共和国个人信息保护法（草案）》（以下简称“《草案》”）征求意见，其中第55条明确提出：个人信息处理者应当对个人信息处理活动在事前进行风险评估。这一制度借鉴了其他国家的个人信息保护司法实践，尤其是《欧盟通用数据保护条例》（以下简称“GDPR”）第35条规定的“数据保护影响评估”（Data Protection Impact Assessment，以下简称“DPIA”）制度。近年内，世界主要国家均确立了数据处理活动（或称算法自动化决策）评估的相关制度，评估已经在数据与算法治理框架中占据重要位置。

　　算法是数据处理的工具，算法自动化决策是算法对大数据处理的结果。数据处理（data processing）是对数据的采集、存储、检索、加工、变换和传输的统称。数据体量的指数级增长使得数据处理的环节只有算法能够胜任，而数据处理者的算法能力决定了其数据处理水平能力。因此，数据处理活动的评估与算法自动化决策评估虽然略有制度范围、广度的差别，但在大多数语境下指向内涵相同。

　　那么，算法评估制度在平台问责中应起到何种作用？近年来学者们提出的算法治理解决方案要么侧重于技术，如区块链技术可无篡改地记载；要么侧重于提高算法系统的透明度，使得权利个体和监管部门更易理解算法的决策过程，以防止或者检测不公平自动化决策的结果；要么侧重于自动化决策不当结果的说明和救济。然而，这些都仅侧重于算法自动化决策过程的某个特定方面。基于算法自动化决策主体的复杂性、过程的长期性，以及参与因素的多样性，有必要将“负责任”的算法制度设计目标置于一个覆盖整个算法自动化决策生命周期的框架内。即从设计、部署、运行到结果输出的整个算法自动化决策流程中，均应对相关责任主体的权利与义务予以一定的法律控制。然而，在现有的制度中，算法评估与平台算法问责衔接失调，对于其认定和追究平台责任的制度优势未能被充分发挥。

　　在构建算法治理时代的合理平台责任体系中，算法评估制度应占据核心地位。本文围绕算法评估制度应在平台问责中如何发挥作用的问题展开，梳理现有算法评估制度在平台治理中的作用，探讨算法评估制度面临的“软化”与“泛化”问题，并提出应从算法评估标准、制度之间协调与事后追责衔接等方面发挥算法评估制度在平台治理中的重要作用。

　　算法影响评估制度起源于20世纪90年代的隐私影响评估制度。算法影响评估制度是以风险预防为目的，意在解决智能科技带来的事后问责的滞后性，以事前评估来避免损害事后的弥散化。

　　（一）算法评估制度的演进

　　DPIA从20世纪90年代隐私影响评估制度发展而来，经历了三个主要阶段成为世界通行做法，并被《草案》所采纳。个人数据保护影响评估制度适应了数据处理风险预防对治理时点前移的需求，制度价值在于解决了数据处理活动事后追责滞后的困境。数据保护影响评估制度来源于欧盟的隐私影响评估制度，经过20余年的发展，成为了GDPR第35条规定的数据保护影响评估制度，并被世界多个国家的立法采纳。数据保护影响评估制度的发展可大致分为三个阶段。

　　第一，DPIA的前身是20世纪90年代隐私影响评估制度。隐私影响评估是一种评估信息系统和收集的数据隐私的实用方法，主要要求系统开发人员和信息处理者记录并充分解决隐私保护问题。1998年，加拿大的不列颠哥伦比亚省率先广泛采用隐私影响评估制度指南；1999年，加拿大安大略省内阁通过信息技术项目的隐私影响评估制度指南。随后，新西兰、澳大利亚、英国、美国等多个国家和地区相继推动各国（地区）建立起适合本地的隐私影响评估制度。2002年，美国颁布的《电子政务法案》第208节规定了各机构对电子信息系统和收集的数据进行隐私影响评估制度的要求。该流程旨在指导SEC系统所有者和开发人员在开发的早期阶段和整个系统开发生命周期中评估隐私，以确定其项目将如何影响个人隐私以及是否可以在满足项目目标的同时保护隐私。

　　第二，进入21世纪第2个10年，欧盟等国进一步细化了隐私影响评估制度，并将主体从信息处理者扩展至利益相关者。2011年1月12日，欧盟出台了一个针对无线射频识别技术（RFID）的隐私影响评估制度框架文件，其将隐私影响评估制度定义为：通过设计系统化程序以评估特定RFID 应用对隐私和数据处理产生的影响，并采取适当的行动以防止或至少最小化这些影响。2013年英国信息委员办公室（Information Commissioner's Office，以下简称“ICO”）发布的《隐私影响评估制度操作指南》中称，隐私影响评估是一种工具，可以帮助数据控制者确定最有效的方式来遵守其数据处理义务并满足个人对隐私的期望。2014年澳大利亚信息专员办公室（the Office of the Australian Information Commissioner，OAIC）编写了《隐私影响评估制度指南》，其认为隐私影响评估是对项目的系统评估，用于确定项目对个人隐私可能产生的影响，并提出管理、最小化或消除影响的建议。

　　随后，设计信息处理信息系统需隐私影响评估，并且应将评估贯彻整个处理流程成为共识并被广泛接受。世界标准组织（International Organization for Standardization，ISO）在2015年发布的《隐私影响评估制度指南》中称，隐私影响评估制度是评估信息系统，程序或流程，软件模块，设备或处理个人身份信息的其他计划对隐私的潜在影响的工具，包括与利益相关方协商，采取应对隐私风险的必要行动。隐私影响评估制度不仅是信息处理过程不可或缺的工具，还是一个过程：只要仍有机会影响其结果，就仍保持通过设计确保隐私的理念，从提议的最早阶段开始持续到项目部署甚至之后。

　　第三，2018年颁布实施的GDPR第35条正式确立了DPIA，并通过一系列指南性文件将个人数据处理影响评估作为数据处理者合规的必经程序。如欧盟第29条工作组的指导方针将其描述为“建立和证明合规的过程”，并强调这是“一个持续的过程，而不是一次性的实践”。数据保护影响评估制度鼓励对数据处理活动进行结构化评估，以识别活动中固有的数据处理风险，并确定其是否符合法律规定。组织可以采取适当的措施来减轻和管理所识别的风险。数据保护影响评估制度（DPIA）是第一个被纳入欧盟数据处理法的风险管理工具，旨在描述数据处理行为，评估其必要性和适当性，并通过评估内容确定这些问题的应对措施，帮助管理个人数据处理活动对自然人带来的威胁和风险。DPIA作为欧盟数据处理框架中的核心内容，受到国内外企业和监管机构的广泛关注，为各国应对日益增长的数据安全风险问题提供了理想的立法范本。

　　（二）算法评估制度的确立

　　随着人工智能时代算法在社会资源分配和权力运行中逐渐占据主导地位，学界提出了应进一步发展数据保护影响评估制度为算法影响评估制度（Algorithm Impact Assessment），并逐渐得到了世界各国立法与实践的响应。

　　算法评估制度是要求在算法设计、部署与运行期间，算法治理的相关利益主体如政府、平台、社会公众与第三方力量，对算法可能造成的风险及其对社会的影响进行充分的评估。算法是一种结构化的决策过程，它将计算程序自动化，根据数据输入生成决策结果。对于算法系统的设计、部署或者采购者来说，算法评估制度可以使其了解和减轻算法系统可能造成的风险或者负面影响；同时有利于建立公众对于算法自动化决策系统的信任和信心。

　　数据保护影响评估在某些国家如加拿大、美国发展为专门的算法影响评估制度，主要缘起于算法广泛嵌入政府、公共部门甚至司法机关，直接影响甚至决定了公民福利、财产甚至人身自由等权利。嵌入算法的监管部门行政活动汇总，算法通过收集规制环境中各类主体产生的实时数据，计算并分析相关行为以及可能产生的风险，为达到预定监管目标形成算法自动化决策，甚至可以实时动态调整政策执行方式。算法已经可以对个人或群体产生重大影响，并为政府规制的决定提供实质性信息的操作。政府公权力的行政公开原则、权力监督原则，从本质上要求嵌入行政活动的算法向公众披露并受到公众监督。正如法国数字事务部长表示：“如果政府不能解释其决定，政府就不应该使用算法。”因此，域外率先开展的算法规制活动多围绕政府公共部门的算法展开。2017年年底，纽约市政府开展了世界首次算法监管，成立了纽约市算法监管工作组。2018年，新西兰政府出具报告，对政府14个机构算法开发和使用的情况进行分析，在整个政府数据系统中提高政府算法使用的透明度和问责制。

　　因此，相比数据保护影响评估，算法评估制度有了更进一步的价值意蕴。首先，算法评估通常超越了对隐私或个人数据保护的考虑，而转向更广泛的社会考虑。从制度目标上来说，算法影响评估关注权力运行对公民从财产到人身等更为广泛的权利的影响，并关注算法运行对社会公共利益的影响。其次，算法评估制度不仅是传统的政策或技术影响评估（如环境保护评估与立法评估），而且是因算法嵌入的政府、公共部门以及数字平台所涉利益的广泛性，具有了比数据保护影响评估更广泛的影响、更深入的价值。

　　在算法系统的开发与部署中，政府公共部门与平台私营部门之间的界限往往模糊不清。平台作为私营部门不仅自身是算法系统的主要开发者和使用者，同时是政府公共部门使用算法时的主要采购对象。平台设计、开发和运行的算法系统，也可能关系到公民财产、人身等多项权利，以及社会公共利益。如网约车平台的算法直接关系到一个城市的交通运输资源调度，而社交媒体的推荐算法又具有制定社会舆论议程的重要功能。因此，算法评估制度虽缘起于对公共部门算法的公众监督，但基于平台算法所涉利益的广泛性，也被适用于平台等私营部门设计、开发与部署算法的活动。如德国数据伦理委员会提出的算法风险评估方案，主张对数字服务企业使用的算法进行五级的风险评级制度，对不同级别的算法采取不同强度的监管。我国法律规则将某些算法应用定义为“具有舆论属性或社会动员能力的互联网信息服务”，并要求其进行自行安全评估。

　　算法评估制度的制度优势面临着智能科技时代的挑战，首要的问题是其在数据治理框架中究竟定位如何？《草案》中也明确规定了数据处理者在进行数据处理活动前应进行评估，各国也有着不同的立法实践。面对技术日益成为主宰社会权力与经济运行的核心力量，算法评估制度的局限性也日益显现，而这些局限也均导致了与技术问责的衔接失调。《草案》中的算法评估制度可能面临着“软化”与“泛化”风险。“软化”是指法律并未规定评估制度的法律后果，可能由于第三方服务的提供者与评估对象的妥协而流于形式。“泛化”则是指由于我国未明确规定算法评估制度的适用范围与等级，普遍要求开展的算法评估制度可能既造成资源浪费提高企业合规成本，又没有发挥应有的效用“好钢用在刀刃上”。

　　（一）地位不明：算法评估可能的“泛化”

　　《草案》中的算法评估制度并未明确应被评估算法的范围。而实际上，根据不同风险等级来确立不同的监管制度已经成为世界通行的做法。

　　算法应用极为广泛，对所有的算法进行监管既无必要也不现实。算法系统的多样性、复杂性和动态性给监管带来了主要挑战，必须根据系统的关键性，在不同的监管级别上实施非常不同的纠正和控制手段以实现监管目标。各国制度中有多重划分不同算法风险等级的标准，最常见和最简单的划分标准是形式标准，将“完全的自动化决策”与“对当事人有法律效力及重大影响”作为高风险算法。例如GDPR第22条规定“完全的自动化决策”，但由于此条广为诟病，各成员国则进行了不同的界定。德国联邦法院采用了限制性解释，认为任何最低限度的人为干预都会排除GDPR第22条的适用性。相反，英国的数据保护的权威（ICO）则采取了扩大性解释：如果涉及不相关的人为干预，第22条应该适用。即使在GDPR第22条所涉的算法中也有不同的风险等级划分。如GDPR第22条中对数据主体产生“实质性影响（substantially affects）”的算法系统。欧盟第29条工作组指南中列举了示例，对个人的评分算法和具有重大影响及法律效力的算法，直接被认为是风险算法，需要接受较为严格的监管。此外，还可根据算法处理对象的敏感程度确定算法的风险程度。如欧盟和美国均把儿童数据的算法列为敏感类算法进行特殊规制。

　　对所有算法系统进行评估既不现实也无必要，各个算法系统所涉的个人权利和公共利益并不相同。例如，支付宝的芝麻信用评级算法可能会对个人产生潜在的财产影响（如申领护照或贷款）。但是同为推荐算法，头条的新闻推荐可能影响新闻议程而落入监管视野，QQ音乐的推荐算法则并不敏感。同理，用户手机进行人脸识别可能只是为了解锁，而公共部门进行人脸识别则有可能为了抓捕逃犯，相同的技术在不同的应用领域也意味着不同的风险等级。

　　不区分风险等级的算法评估势必走向评估机制的“泛化”。我国已经存在多种个人信息保护的评估制度，仅仅2020年影响较大的就有三类：其一，较为权威的是2020年3月国家标准化管理委员会制定的《个人信息安全规范》，要求企业进行个人信息安全影响评估制度；随后2020年11月全国信息安全标准化委员会正式发布《信息安全技术个人信息安全影响评估指南》。其二，近几年中央网信办、工信部、公安部、国家市场监管总局持续性联合开展App违法违规收集使用个人信息专项治理工作，组织App隐私政策和个人信息收集使用情况评估。其三，2020年工信部印发《关于做好2020年电信和互联网行业网络数据安全管理工作的通知》，提出深入开展网络数据安全合规性评估。除此之外，还有2020年网信办颁布的《个人信息出境评估指南》、2020年中国电子技术标准化研究院开发上线了为企业提供服务的个人信息保护合规评估工具、2017年网信办颁布的《具有舆论属性或社会动员能力的互联网信息服务》，并要求其进行自行安全评估等。种类繁多、效力层级不清的评估不仅容易造成企业沉重的合规负担，也造成了治理效用的低下。

　　《草案》规定的数据保护影响评估制度与已有的评估制度如何衔接？评估如何成为治理机制中的一环而不被滥用？这些都成为该草案颁布后相关实施细则亟待厘清的问题。

　　（二）效力不清：算法评估制度可能的“软化”

　　无论是数据评估制度还是算法评估制度，在各国范围内都属于自我监督与外部强制性监督结合的治理机制。评估制度本身源于隐私设计理念，其作为数据控制者构建“隐私友好系统”的一种方式，通常是以自愿而非强制的方式提出要求。这一制度就源自治理者认识到监管机构无法通过自上而下的控制来完成所有工作，但数据处理者从设计阶段就应设计较少侵犯隐私的系统。

　　以欧盟的GDPR为例，GDPR第35条规定的评估制度仅具有一定意义上的法律强制性。首先，GDPR第25条规定数据控制者在制定算法系统时以及在实际处理数据时，必须实施“适当的技术和组织措施”。其次，当某种新的算法系统可能“导致数据主体权利的高风险”时，必须先进行DPIA。同时，DIPA制度明确公司的报告义务和监管机构的监管权力，这种监管是带有公法强制性的监管手段，是长期性的监管方式。

　　当算法评估成为平台部署算法前的必经程序时，社会第三方提供的评估服务就有可能流于形式，走向“软化”。社会第三方的服务机构提供评估、认证等服务，并以此作为主要收入来源。因此，当平台设计和部署算法违反相关评估规则时，很难得到实质性的部署阻碍。因此，现有机构为数据安全评估需求的企业做正式评估之前，先进行“预评估”与提供改进方案，即是对此种服务作为主要收入来源现状的妥协。

　　如何避免算法评估主体与对象为合规作出妥协，而导致的算法评估制度“软化”呢？2015年爱尔兰关于美国-欧盟安全港协议被司法废除的案件则提供了前车之鉴。美国并没有与欧盟同水平的个人数据保护制度，因此，依照欧盟法律规定，个人数据无法出口到美国。但在美国-欧盟安全港协议之中规定，如果美国的公司加入信托印章就获得了符合欧盟隐私标准的资格认证。提供信托印章的信托基金被披露一直忽视美国成员的重大数据泄露事件，或者只是实施象征性的制裁。在2015年的案件中，由于斯诺登披露的美国国家监视问题，该协议被司法废除。

　　算法评估制度一旦“软化”，在没有更加严格的监管作为成本时，平台很难有动力投入巨额资金到算法设计部署中以保护个体隐私、数据安全与社会公共利益。《草案》中并未明确提出平台未进行算法评估的法律后果与处罚力度，缺乏法律强制性的规制措施难以得到平台的重视与合规投入。

　　（三）关系不顺：算法评估与平台责任“失联”

　　算法与数据治理的最终目标是建立“负责任”的数据和算法体系。在算法问责的制度框架中，算法评估应居于何种地位呢？现阶段关于算法问责的建议都集中在通过算法的透明度和可解释性来解决算法深度学习和实时数据带来的复杂性问题。这些技术治理措施虽然是必要的，但是对于解决算法系统可能带来潜在的社会危害风险并不充分。在如何使得政府、企业能够在预防、监督、问责方面承担更多实质性责任方面，现有的治理措施在问责框架中均存在不足。

　　第一，算法透明度及其问责难题。追求算法的透明度是现有算法治理的一种重要工具。透明度是指由算法的设计使用者披露有关算法如何部署、如何工作以及如何使用等相关信息，以期由监管部门或第三方进行监管的制度。算法透明度可能包含着以下信息：算法开发的原因和情况，算法模型或者权重逻辑，算法设计过程的基本假设，算法可能发生的实时变化，以及算法运行的有关因素等。在对算法透明的追求中，比较难以确定的是算法与人类互动过程对最终法律责任的影响。

　　第二，区块链技术及其问题。区块链是一种记录交易的开放式分布式账本系统，被认为是可解决平台责任认定的技术工具。区块链现在被用来调节分布在组织内部和组织之间的各种实体的交易。这种现有的跟踪项目和特定金融交易的能力，可能会被调整和应用于整个算法决策过程中特定数据点的记录。例如，区块链可用于跟踪数据出处，并通过验证数据是否被访问、使用和转移，提高数据使用的问责效率。区块链的追溯功能可能被用来记载算法获得的数据信息，以及其决策的权重。

　　如果只关注技术上的修正问题，就会忽略一个重要的算法治理目标，即如何对平台算法问责。而算法治理的根本目标是为了让人类负责。早期的学术研究提出来的一系列问责措施，虽然看似针对算法，但实质上是为了让设计、部署和运行算法的人类组织负起责任。正如凯特·克劳福德呼吁的那样，应超越“作为迷信对象的算法”，而将制度设计的目光投向“一个系统，其中不仅仅是代码和数据，而是人类和非人类行为的集合体”。应避免将算法评估制度作为另一种信息披露制度，而应确立算法评估与后续追究平台责任相关的机制。

　　《草案》在我国立法中首次明确了算法风险评估制度。《草案》第55条第1款规定，“个人信息处理者应当对下列个人信息处理活动在事前进行风险评估，并对处理情况进行记录：……（二）利用个人信息进行自动化决策”；第2款、第3款规定，“风险评估的内容应当包括：（一）个人信息的处理目的、处理方式等是否合法、正当、必要；（二）对个人的影响及风险程度；（三）所采取的安全保护措施是否合法、有效并与风险程度相适应。风险评估报告和处理情况记录应当至少保存三年”。围绕平台问责为中心构建的算法评估制度，应从平台主观过错、平台考察周期、平台责任主体认定多方面进行构建。

　　（一）算法评估标准：涵盖平台主观过错

　　《草案》规定的是算法风险评估制度，即主要评估的内容是算法等数据处理活动可能带来的风险。评估内容及标准在平台问责中的根本意义是考察平台在设计部署算法过程中是否尽到了“负责任”的态度，并采取一切可能的措施避免可能给个人权利和社会公共利益带来的不当影响。《草案》确立的算法风险评估制度在确定平台主观过错的方面可能存在如下问题。

　　第一，风险一词因其主观建构性存在模糊性，评估标准涵盖范围过于狭窄。风险本身即存在主客观的双重属性，即它既具有客观存在性，又具有主观建构性。客观存在性的风险评估标准偏向科学的“理性-工具”范式，而主观构建的风险则偏向“商谈-建构”范式。以环境决策风险评估为例，它所对应的往往是对噪音、污染物排放、化学物质危险性等科学问题的评估。而具体到算法评估标准，往往涉及复杂的、社会的、甚至是涉及政治意识形态与价值观的难题。例如，算法影响可能包括对失业率、对贫富差距、对不同群体平等、甚至对人权影响的判断。

　　第二，《草案》中评估标准主要集中于隐私与个人信息保护事项，对社会公共利益等关注不足。算法由于深度嵌入行政活动与社会经济运行，可能对社会经济、公民权利、社会秩序有深度影响。国际上一向主张应从更为广泛的角度来关注算法给社会带来的影响。例如，2019年8月，联合国教科文组织发布的《北京共识——人工智能与教育》指出，要致力于开发不带性别偏见的人工智能应用程序，并确保人工智能开发所使用的数据具有性别敏感性。面对算法所涉利益的广泛性，有学者甚至提出算法设计部署者应提供“社会影响声明”“歧视影响评估”甚至“人类影响声明”等。

　　要求平台依据主观过错承担法律责任，是平台算法走向“负责任”（accountability）的必由之路。在平台治理中，归因和归责发挥着“托底”的作用。平台是由人与机器（算法）合作运行的，人负担的责任越大，对恶意使用的威慑作用就越大，有效治理的可能性就越大。因此，应以设置平台问责的主观过错的标准，来设置算法评估的标准，构建涵盖多层次、多元价值观的算法影响评估标准。具体而言，应包括以下几个方面。

　　第一，平台评估标准必然包含现行法律法规的相关规定。无论是既有的针对人类行为的法律规定，还是为算法专门设置的条款，都当然成为平台算法问责的注意义务。法律应对新技术带来挑战的方式，或直接沿用照搬，或另起炉灶重建。如美国把既有的对于金融服务公司的法律要求应用于算法自动化决策系统的信用担保与评分系统，1970年颁布的《公平信用报告法》（FCRA）和1974年颁布的《平等信用机会法》（ECOA）均被适用于算法。此外，美国FTC法案授权中禁止不公平和欺骗性做法，也用以解决因使用算法自动化决策而造成的消费者损害。为了应对新的挑战，法律也有为算法应用量身定制的相关规定，如在我国《电子商务法》中，直接确立了电商平台搜索类算法的明示义务，个性化推荐算法的自然结果提供义务和消费者保护义务。2019年《数据安全管理办法（征求意见稿）》、2020年3月实施的《网络信息内容生态治理规定》均针对个性化推荐算法作出了相关规定。可以预见，未来平台算法的注意义务将呈现扩大化、明确化的趋势。

　　第二，平台算法评估标准应吸纳不得对用户行为操纵、保障用户自治等技术伦理内容。虽然国际组织、各国与企业提出了不同的人工伦理规范，但其中的一些已经成为共识。例如，人工智能和算法设计的价值导向必须以人为本，并与核心主流社会价值观相契合。正如德国伦理委员会提出的那样，法律部门和合规工作人员必须将伦理融入全流程中，所有的利益相关方必须将在人工智能中融入参与性、公平、平等作为自己的责任。我国工业信息化部编撰的《人工智能伦理与道德标准》，也可作为平台算法问责主观过错的参考标准。

　　第三，应鼓励平台通过对用户主动承诺的形式，扩大自评估的内容。以美国联邦贸易委员会对Facebook的5亿美元罚款事件为例，其罚款的依据是Facebook于2012年自身作出的企业隐私政策。当企业自己主动提供了隐私政策和承诺之后，FTC方有理由对其违背隐私政策的行为以“欺骗性贸易”的名义予以处罚。世界著名通信商沃达丰（Vodafone）的AI框架提供了其人工智能的具体细节，例如遵守其行为准则和隐私承诺。IBM的AI日常道德规范为员工提供了一系列建议的行动和问题。这些平台公司对用户或员工的承诺，均可成为监管部门的依据，用以检查其是否遵守了承诺的守则以及遵守的程度。

　　第四，高风险的算法系统需由监管部门制定通用评估标准，技术标准也应作为平台算法问责的依据。例如，在医疗领域中使用的算法，首先必须符合医疗质量要求的技术标准，保证评估与诊断的准确性。使用于敏感领域的高风险算法也应由监管部门制定相应的技术标准。世界范围内的算法与人工智能标准制定工作已经展开。2016年，美国电气与电子工程师协会（IEEE）发起了IEEE全球自治与智能系统伦理倡议，以应对人们对算法系统意外后果的关注。这项举措的一部分是启动开发IEEEP7000系列基于道德的标准，例如P7001自治系统，P7003算法偏差考虑。我国应及时制定符合国际标准的国内标准。违反技术标准的算法应被认定是平台未尽到应尽的注意义务。

　　将以上内容作为算法影响评估的标准范畴，既可以考察算法对个人权利的作用，也涵盖了算法系统对社会、经济、人权、乃至生态环境等多方面的影响。尤其是可以直接为日后的平台问责提供认定主观过错的依据。

　　（二）算法评估对象：全周期问责点设置

　　《草案》确立的算法风险评估制度是事前机制，而算法评估作为平台问责的核心制度，可以在算法设计、部署、运行和结果输出全生命周期进行评估，以设置平台的问责点。

　　仅进行事前评估无法满足平台问责的紧迫需要。首先，无论是个人数据权利保护还是公共利益保护，并不是静态的发展过程，而是存在各种风险的动态演变。以前对于个人数据的治理与保护更强调数据主体的权利义务，如数据控制者必须经用户同意才能对数据进行使用以及各种当用户个人数据被损害后的救济途径。其次，算法系统带来的影响多来源于其二次使用，并非仅个人信息的收集与使用。个人数据保护的制度价值已经从私法角度向公共性范畴转化，在数据分享、二次利用中应考虑到社会公共利益与平台问责的需要。再次，对算法进行事前评估可能将评估对象仅局限于已获取和即将获取的数据主体的权利，忽略了算法可能对未获取数据主体的权利也产生重要影响。以外卖骑手导航算法为例，外卖骑手导航算法不仅涉及外卖买卖双方的利益，也涉及到交通行人的安全，而行人的数据根本不会有机会参与到算法的数据处理中。

　　考虑到平台问责的需求，必须考虑到对算法整个生命周期进行评估，作为事后问责的问责点。首先，算法设计和测试阶段，平台应事前对算法进行充分的测试才可以上线使用。正如联合国国际治理论坛专家报告所言，平台应采取“持续性、前瞻性和反应性”的步骤来保证相关技术满足其风险评估的技术需求。例如，微软的AI聊天算法Tay在推特（Twitter）上运行了几个小时后，就发表了同情纳粹的言论。微软显然并没有设计这一结果出现，但是其作为设计部署者应该能够预见到将一个机器人暴露在推特这个不乏骚扰和仇恨言论平台上的危险，在事前应做充分的测试才能允许其在平台上运行。

　　其次，算法运行阶段，平台应保证算法的运行符合设计者和部署者的意图，避免出现意外不可控的结果。为考察平台对算法风险与过程控制能力而设置的问责点，应包括处理可能发生风险的预案与措施。具体包括相关技术信息的留存措施、处理相关风险的技术措施、与相关部门沟通与协助的措施等。德国伦理委员会建议为算法建立质量密封制度，鼓励平台自愿或强制留存算法运行的证据，以方便日后责任的回溯。平台企业内部专门负责与监管部门合作通信的“算法管理人”也被作为一项制度主张提出，其职责为监督算法的运行并向平台提出建议。

　　最后，算法结果输出阶段，平台应及时评估算法运行的结果。以2020年4月份判决的“蚂蚁金服诉企查查案”为例，企查查推送的涉及蚂蚁微贷的清算信息，因算法运行推送方式的设置问题，引发公众将历史清算信息误认为即时信息，发布了“蚂蚁金服破产清算”的算法错误结果。这一案例显示，即使算法自动抓取数据得出结果，平台仍应负有审查算法结果的注意义务。正如判决书所言“大数据企业对于收集、发布的数据信息仍具有基本的注意义务，对于发布的重大负面敏感信息，应当通过数据过滤、交叉检验等数据处理，确保数据质量”。由此可见，平台算法评估应设置于算法运行的多个阶段，例如，通过进行敏感性分析、有效性检查和纠错过程，敦促平台仔细调查错误和不确定的领域，并在需要的情况下启动第三方的算法审计。

　　（三）算法评估结果：问责强度确定划分

　　《草案》中并未明确指出需要进行评估的算法范畴、算法评估的主体、算法评估结果信息披露的对象与公布的范畴。对于不同风险等级的算法，评估的主体、评估的结果、以及行政机关的监管处罚跟进措施应有所区别。制度相关内容的缺失，使得算法评估制度并未对平台问责起到应有的支撑作用。

　　第一，需明确算法风险等级，不同级别评估制度对应不同风险等级算法问责需求。世界范围内，算法的分级评估制度逐渐成为算法规制的前提。欧盟、德国、加拿大、美国分别建立了不同名称的算法分级评估制度。应尽快统一我国现阶段各部门和行业协会、第三方机构进行的评估，应对不同风险级别的算法系统。

　　算法评估制度目的是建立风险适应型的算法监管，使得监管严格程度基于算法可能造成损害的可能性以及损害的严重性，针对不同算法系统的关键模型构建不同监管体系。风险评估的判定要素取决于受到法律保护的权益的重要性。包括但不限于：用户的生命权、健康权、人格权和隐私权、名誉权、财产权等受到潜在侵害的程度；算法使用数据的特定敏感性（如儿童数据，敏感个人信息）；对个人或群体的潜在危害程度（不能以资产规模作为衡量标准）；受影响的个人数量（用户规模）和潜在可能受到损害的用户总数；以及对整个社会公共利益的损害等。在此类算法风险类型的判断标准中可以贯彻社会主义核心价值观，将法律底线、道德底线、技术伦理以及算法设计者和应用者对用户的承诺包括在风险评估的标准之中。

　　第二，需确定不同评估结果对应的不同监管强度体系。低风险的算法评估结果，导向宽松监管与过错责任的追责原则；而高风险的算法评估结果，对应着严格的全流程监管、甚至是无过错责任。

　　以德国伦理委员会对五个不同风险等级算法系统的监管级别为例，对于低风险第一、二级算法系统，以事后问责作为主要机制。而对于第三级及以上的、具有一般或明显危害的系统，应考虑以发放许可证的方式，促使审批、监管常规化。另外，由于许多算法系统都是高度动态的，因此，在授予许可证的情况下将需要定期审查。例如，导航算法的提供商可以访问使用所有车辆和移动性数据生成的数据池。如果这些数据仅用于预测交通拥堵，则关键级别应归类为第一等级的“可忽略”。但是，如果使用算法来匹配用户和车辆，可能影响消费者权益，则应为第二等级。如果使用智能算法来控制流量。例如，如果算法可以基于由使用车辆实时确定的道路、铁路、水路和航空运输组成的移动系统的总体使用情况，则可能应适用第三等级。

　　对于更高等级的、具有相当潜在风险的系统，如在信用评估方面具有准垄断地位的公司，应公布其算法细节，包括计算所参考的因素及其权重，算法所使用的数据，以及对算法模型的内在逻辑进行解释；对于自动化武器等具有潜在不合理危险的系统，则“完全或者部分”禁止。

　　由此可见，算法评估制度所提倡的分级监管替代了传统平台问责路径中“全有全无”的判断，利用风险等级的量化，既可以提升数据处理的可操作性，也可以减少企业的合规压力，并促进数据的合理使用。欧盟相关文件认为，评估制度将关注点由数据处理行为的统一监管转变为针对特定数据处理行为的动态风险管理，并贯穿于项目规划和执行过程中，以尽早地发现、评估、应对有关数据处理、个人权利和自由的显著风险。同时也要注意，对算法的风险应符合相对安全观，即承认将风险降低到零是不切实际的。因此，评估制度的主要任务是识别风险、并将特定数据处理行为的风险等级降至数据控制者能够承担的水平。

　　平台通过算法设计、部署和运行，将可能对社会造成危害的“行为”外包给了算法。世界上没有不出故障的技术，正如世界上没有完美的人。当平台造成了损害结果时，不能穿透“技术面纱”，直指人（平台）的主观过错，就会存在潜在的责任缺口。如果放任平台以“技术中立”和“算法黑箱”继续逃避法律责任，则意味着人类将终审权拱手交给了机器。

　　因此，平台问责的最佳方案应聚焦于损害发生之前的防控措施而非事后的补救方法。算法评估制度重新建立并拓展了传统的数据处理模式，侧重于事前的预防方法，强调“风险分析”“影响评估”和“生命周期管理”等理念的引入和运用，通过对数据处理风险的评估和管理，促使数据处理的传统监管模式转向以风险管理为路径的新型数据处理模式。针对数据控制者，有利于降低其合规风险、获得市场美誉；针对数据主体，有利于保障个人数据处理权益；针对数据监管机构，有利于实施有效监管。

　　对于人工智能时代平台问责体系的构建，算法评估制度具有核心支柱功能。算法评估的标准提供了平台问责主观过错的认定机制，算法评估覆盖算法运行生命周期，使得问责点设置遍布平台运行事前、事中、事后，不同算法评估结果则可以对接不同算法的监管强度。从事前标准、过程评估和评估结果三个环节来看，实行以风险为基础的方式更有利于保护个人的权利和自由，同时更有利于减少新技术给经济、社会等带来的冲击。

《上海政法学院学报》创刊于1986年，原名《法治论丛》。根据清华大学“中国期刊网”的发行情况统计，该刊现有机构用户2000多家，其中，国外用户175家，分布在27个国家和地区，个人读者分布在28个国家和地区。目前，该刊与清华大学“中国知网”、“万方数据库”、“中文科技期刊数据库”（维普网）等国内三大数据库，以及人大报刊复印中心数据库均有签约，每期内容全文收录。从2004年起，该刊多次获得荣誉。连续荣获“上海市高校优秀学报”称号；2006年起，连续荣获教育部和全国高校期刊研究会颁发的“全国优秀社科期刊”称号。

-END-

责任编辑 | 吴珊

审核人员 | 张文硕 杨岩

本文声明 | 本文章仅限学习交流使用，如遇侵权，我们会及时删除。本文章不代表北大法律信息网（北大法宝）和北京北大英华科技有限公司的法律意见或对相关法规/案件/事件等的解读。

点击相应图片识别二维码

获取更多信息

北大法宝

北大法律信息网

法宝学堂

法宝智能