人工智能与智能社会的多维审度专题之一 | 段伟文：深度智能化时代算法认知的伦理与政治审视

算法的观念可以追溯至人类文明早期举行仪式和解决问题的程序化方法，其当代含义多指一组旨在达成某种预期的结果而展开的正式的过程或按步骤进行的程序。当前数据驱动的算法认知的观念源于科学革命以来现代性建构进程中对“计算理性”和“量化社会”的追寻。在科技与经济等主流话语中，算法一般被视为抽象的用于认知和决策的数学程序或模型，或可以通过对数据的计算与学习提取知识和指导行动的技术。

自20余年前谷歌搜索算法通过分析用户生成内容(UGC)开启这波数据驱动的智能算法应用以来，算法在科技和经济等主流话语中主要被视为抽象数学程序在数字技术前沿的应用，这使得基于算法的认知被默认为是可以揭示事物相关性的客观“机器真理”。

量化社会和算法认知其实是比它所声称的客观认知复杂得多的社会工程技术，其中伴随着知识与权力的纠缠。它们与其说是基于社会事实的真理发现，毋宁说是重新安排社会事实的真理的制造，而其目的是使人和社会成为可以调控的对象和过程。

透过志愿献血、服兵役的年龄限制以及各种自我健康监测应用程序，就可以看到量化社会和算法认知实际上是一种社会层面的运作，运行其中的国家计算和资本计算等“认知—权力”形塑着这样那样的本体论政治安排，构造着负载伦理价值的事实。要获得对算法认知更深入的认识，就应该转向对算法认知所安排和构建的伦理与政治结构的探究。

算法认知正在决定着我们解释与改变世界和自我的方式。例如，各种智能穿戴和量化自我的应用甚至使我们对数据的感觉成为我们自身的一部分。但在更多的情况下,算法认知所带来的是不对称的伦理与政治结构。有关亚马逊土耳其机器人等众包平台的幽灵工作以及大量以人类智能弥补机器智能不足之类的研究表明，算法认知实际上是人机共生时代全新的社会分工的统筹机制。由于算法认知将人和机器视为无差别的具有能动性(agency)的能动者(agents)，使得传统的以人类为认知主体的社会嬗变为基于人机认知组合的认知生态系统和技术社会系统。由此，必然地赋予相关伦理与政治关系以新的内涵，进而决定着深度智能化时代的伦理和政治结构的变迁。

近年来，大数据与人工智能迅速地发展为一种泛在赋能科技，令数据和算法所驱动的深度智能化创新成为最具动能同时也最有争议的科技社会发展面向。为了避免将算法认知所带来的伦理和法律争议简化为技术问题，不应仅将算法认知视为技术黑箱，而应视其为复杂的技术社会系统，以便揭示由其所引发的认知生态和认知权力结构层面的深刻嬗变。

一是世界的数据化与算法认知的生成性。在深度智能化时代，所涉及的智能应用主要是由数据和算法驱动的数字技术系统所具有的机器智能，其基本形式是基于世界的数据化的算法认知。所谓世界的数据化，即将事物和人转化为可量化、可计算的非实体的信息流或数据流，由此形成的平行数据流不仅使数据成为世界的第二属性，而且产生出数据孪生，甚至完全用数据构建虚拟现实和镜像世界——这也是当下“元宇宙”热所声称的。

在世界的数据化或数字化平台上，所有的事物和变化都将成为机器可识别的对象，算法认知由此成为一种生成性的力量。随着算法认知的日益普及，它正在成为新的验证和识别方式，甚至决定着我们活动的空间、可以遇到的人和事。这使算法正在成为深度智能化时代创造世界的方式，从而呈现为一种关于世界的价值、假设和主张的伦理与政治安排。

二是认知生态系统与算法认知对现实的制造。世界的数据化和算法认知的兴起，正在使我们星球上的认知生态系统发生颠覆性的改变：以算法认知为代表的非意识的人工智能体认知已经超越基于人的意识和主体能动性的人类认知。目前，互联网、可编程系统、跨越电磁波谱的有线和无线数据流等共同构成了全球互联的认知生态系统——认知圈，而人类社会正日益嵌入其中。在认知圈中，人类不再是这个系统中唯一的行动者或智能体，人的主体能动性只是具有更广泛联系的一般的能动性组合的一部分，而算法认知等机器认知者日益扮演着至关重要的角色。

随着普适计算、大数据和人工智能的使用，沿着法国当代哲学家德勒兹(Gilles Deleuze)的控制社会寓言所揭示的端倪，所谓的“计算制度”和“算法政治”方兴未艾。虽然算法认知改变和制造着现实，但人们往往是在没有觉察到的情况下成为数据采集和计算与认知对象的。其中所涉及的算法认知中的主体性、能动性等算法权力等问题，恰恰是对算法认知的深度伦理与政治审视的切入点。

从量化社会到算法认知的实现，始终是由权力所推动的。而其目的一般是为了产生某些方面的知识并采取相应的行动，由此提升算法认知者的行动力和智能系统的运作效率。透过以色列军事司法机构运用算法判定危险人物、乌克兰危机中人脸识别算法被用于鉴别士兵身份等案例不难看到，算法认知不仅伴随着对世界的重新安排，而且正在成为具有强力色彩和系统渗透性的权力，甚至可能形成某种智能权力场域。由此，就产生了预测机器和智能折叠等深度智能化时代值得关注的知识—权力运作现象。

一是基于算法权力的预测机器。作为一种新的机器认知与调控方式，数据驱动的智能算法试图将世界完全转化为数据，继而通过算法认知实现对世界的自动调节。随着技术的发展,这种自动调节显然不再满足于把握事实和寻求社会动态平衡，而演进为预见和控制世界的机器。算法认知不仅分析和调控着我们当下的行动，而且试图构建一个最符合其目标参数所刻画的可能性的未来。但问题是，基于过去的经验数据运行的预测机器，实际上是先通过过去的数据将世界和人的恰当表现标准化，然后以此为基础预测甚至强行构造未来。不论是预测罪犯会不会再次犯罪的模型，还是根据数据画像预测消费者购买某种商品的可能性，算法设计的前提都是使人的行为模型标准化，从而使其可以预测和引导。为了做到这一点，无疑需要足够的数据，这便使得对人的行为数据的贪婪而持续监测正在成为一种新的技术社会文化，甚至在有些场景发展为对人的未来行为的预调控的过程。

由于预测算法只根据相关性对行为可能性作出评判而不分析其原因，当其预测到某种可能发生的风险（如某人可能采取反社会行为）时,可能会先发制人。但如果凭借强大的计算能力，普遍采用这种持续的和先发制人的权力实施方法替代传统的预防治理方式，可能会使治理机制仅仅关注结果而忽视造成问题的原因，从长远看可能酝酿更大的社会风险。

二是人机认知组合下的智能折叠。从困在算法里的快递小哥到隐藏在人工智能领域的数字零工等案例可以看到，算法本身正在成为深度智能化社会的认知生态系统中的制度安排——所有的人都在人机认知组合中被配置成为特定的数据驱动的智能体，进而构成某种智能折叠。对这一点的理解需要深入了解人机认知组合的具体运作过程，才可能找到探讨的线索。

人机认知组合下的智能折叠实际上回到了马克思所讨论过的自动机器时代一般智能的问题。在技术哲学和媒介哲学中，经典的观点是技术或媒介是人的延伸，但算法权力下的预测机器与智能折叠似乎意味着人正在成为机器感知的延伸，人们甚至将不得不面对机器役使和社会驯化的双重命运。