谁为AI事故负责？

谁为AI事故负责？

曹建峰 腾讯研究院高级研究员

人工智能事故的责任

是AI时代的核心问题

深度学习的“黄金十年”之后，AI时代已然到来，AI系统已然成为21世纪最显著、最重要的技术物之一，不断催生出各种新的智能产品、服务和应用，诸如Robotaxi、AI陪伴应用、人形机器人等。而且，在规模法则（scaling law）的引领下，以大模型为代表的AI技术仍在加速发展，甚至引发了“AI加速主义 VS AI价值对齐”的发展理念分歧。AI领域的知名专家学者纷纷预言AGI的到来时间，设想未来十多年的变革与影响。这场AI革命将带来什么样的变化和影响，也许是人们现在还无法全面预估的，但我们至少不应低估AI技术的长期影响。

目前看，AI技术的发展和应用，不仅让各种产品正日益成为具有自主智能的产品，而且让人们从互联网时代加速进入以算法、机器人和AI智能体（AI agent）作出经济和社会决策为核心特征的AI社会或者说算法社会（algorithmic society），算法由此成为支持网络化、数字化、智能化发展的核心技术因素。这可以带来安全和效率的显著提升，但无法保证消除所有的事故和风险。没有绝对安全的技术，技术在减少、消除某些方面的风险的同时，却可能在其他一些方面制造新的风险。近年来，给他人权益造成损害的AI事故快速增加，从自动驾驶汽车和有形机器人的安全事故到AI诊疗软件的错误诊断再到各种自动化决策系统的算法歧视、不公平决策，可以说，AI事故和AI侵权正日益成为AI社会的“新常态”。根据OCED对全球范围内的AI事故的监测，2014年1月以来全球AI事故快速增加，截至202年12月总数已达7195起。例如，2024年10月以来，AI聊天机器人平台Character AI面临导致美国青少年自杀等争议，已成为至少两起诉讼的被告，原告主张character AI存在设计缺陷，属于缺陷产品，要求其开发者承担产品责任。

在人工智能的应用无处不在的今天，人们必须正视AI事故和AI侵权的法律责任问题。当AI系统造成事故和损害，法律必须给受害人提供公平且有效的救济。但问题是，谁应为AI事故和AI侵权负责？高度自主的AI系统可能在没有直接的人类控制、干预或监督下独立采取行动或作出决策。这意味着，在人工智能语境下，由于相关的行为和决策从人类转向智能系统，事故和损害也开始从由人类和人类行为造成转向由AI系统及其行为造成。这种转变给法律责任的分配和承担提出了挑战。相关挑战不仅在于识别责任主体的困难，而且在于AI系统的自主性、不可解释性、不可预测性等诸多特征给证明过错/缺陷、因果关系等责任构成要件带来的困难，更在于AI侵权的责任承担方式的难题（例如，如何针对AI系统采取行为禁令、关停等惩罚措施）。

AI侵权责任的三种新方案

真的可行吗？

为此，有人提议针对AI侵权建立全新的责任制度，大致包括三种方案。

一是人格方案，简单来说就是赋予AI系统法律主体地位，从而AI系统可以对自己的行为直接承担法律责任。将自主的、复杂的AI系统视为独立的法律主体，从而将侵权责任从人类转嫁给人工智能，是一个很有诱惑的想法。欧盟立法者曾提议为自主机器人创设“电子人”的特殊法律地位，但最终否决了这一想法。一些学者提出可以赋予AI系统类似于有限责任公司（LLC）的法人地位，以解决责任承担的难题。人们设想，就像大模型可能让“1人公司”成为现实一样，未来人工智能的发展也可能让“0人公司”成为现实，即具有自主行动能力的AI系统（agentic AI）就可以独立运营一家公司，而不需要任何的人类雇员。

二是替代责任、基于高风险的无过错责任等新型责任方案，根据一种理论，尤其是在替代型人工智能的情况下，如果企业使用AI系统来替代人类雇员，就应对所谓的“AI雇员”的行为承担替代责任，因为这符合功能等效原则（functional equivalence）。随着大模型的能力的持续增强，可以憧憬，未来人们不仅可能会有可以真正代替自己行事的个人AI助理，而且可能会和所谓的“AI同事”一起工作和协作。因此，让经营者对“AI雇员”的行为承担替代责任，似乎合情合理。另一种思路是，立足于基于风险的AI监管路径，让提供者、所有人、使用者等主体对高风险AI系统造成的损害承担无过错责任。例如，欧盟人工智能法案的核心思路就是，基于AI风险类型化，重点对高风险的AI系统采取安全监管，并禁止具有不可接受风险的AI系统。

三是保险方案，对于完全自主的AI系统造成的损害，可以考虑用社会保险、赔偿基金等基于保险的无过错赔偿机制完全取代现有的侵权责任制度，因为绕开侵权法将避免将现有责任规则适用于人工智能所面临的诸多困难。在过去，无过错赔偿机制完全取代侵权损害赔偿的例子并不鲜见，工伤、交通事故、医疗伤害、疫苗损害等领域存在类似的做法。

AI侵权责任制度的构建

需要走出几个误区

然而，这些关于AI侵权责任的新方案过于激进、难以确保安全与自由的平衡，不仅不符合我们依然处于AI革命的发展早期和弱人工智能时代的社会现实，而且是基于几个需要避免的归责误区。

误区1：针对人工智能自身进行归责。

针对AI系统自身进行归责，意味着将AI系统视为法律主体。然而，在现阶段，人工智能的法律人格在道德上是不必要的，在法律上是自麻烦的。支持AI法律人格的大部分论点既过于简单又过于复杂，过于简单是因为人工智能存在于一个界限模糊的范围内，目前还不存在可以被承认为法律主体的有意义的类别；过于复杂是因为许多论点是“机器人谬误”（比如认为机器人就像人类一样）的变体，基于对人工智能未来发展的似是而非的假设。目前看，授予AI系统法律人格并非解决它们“行为”责任的“灵丹妙药”，反而可能打开“潘多拉魔盒”，引发了一系列新的法律和伦理问题，尤其是，AI法律人格将很容易导致滥用，成为一种避免和转移法律责任和义务的机制。换句话说，AI法律人格可能是一种“法律黑洞”，一个吸走人类行为者法律责任，从中却看不到任何问责迹象的实体。总之，人工智能作为人本身的一种活动，即使再复杂、再智能、再先进，也只是服务于人类、实现人类目的的工具，充分彰显着作为法律客体、促进人类福祉的需求。在根本上，我们需要发展工具型AI（tool AI），而非所谓的全面接近人类的主体性AI。

误区2：将公法上AI风险类型化理念和AI侵权责任规则勾连。

全球人工智能监管的一个主要思路是采取“基于风险规制”，对具有不同风险程度的AI系统采取差异化监管。欧盟人工智能法案是这种思路的典型代表，其按照风险高低，将AI系统分为不可接受风险AI、高风险AI、有限风险AI以及最小风险AI等四大类，并重点规定了高风险AI的要求和相关经营者（提供者、部署者等）的义务等。其中，高风险AI的判断标准是，AI系统对自然人的健康、安全、基本权利等构成显著的损害风险。在这种规制思路下，人们倾向于将AI系统的风险程度和归责原则相挂钩，比如将高风险AI和无过错责任相挂钩，而将低风险AI或非高风险AI和过错责任或过错推定责任相挂钩。欧盟立法者此前提出的“人工智能操作责任条例草稿”就是这种归责思路的典型代表。然而，将公法规制框架下基于风险的AI类型化一刀切地衔接、匹配到不同的责任规则并不合理，实际上是一种错置。主要原因在于，高风险AI和传统无过错责任理论所针对的具有异常危险的物体或活动之间并不能简单画上等号；相反，人工智能的引入可能改变人们对危险领域的认知，所谓的高风险AI实际上可能比人类控制、操作的类似物体或活动更加安全。换句话说，所谓的高风险AI其实旨在减少风险，增加安全性，实际上比其所取代的人类活动要更加安全。

误区：对AI系统的“行为”进行过失评价。

当AI系统引发事故、造成损害时，如何对AI系统的“行为”或表现进行评价，是一个关键的问题。有人提出将过失责任原则适用于AI系统自身，具体来说，类比用于判断人类行为人是否具有过失的“理性人”标准，可以采用“理性机器人”标准来判断AI系统是否存在所谓的“过失”，以此限制相关主体对AI系统的责任。例如，此前在美国，在ilsson v. Gen. Motors LLC案中，原告起诉美国自动驾驶汽车公司Cruise，但没有提出产品责任索赔，而是选择了基于过失的理论：这位摩托车主声称Cruise的自动驾驶汽车以如此疏忽的方式行驶，进入了相邻的车道并将他撞倒，而没有考虑到过往的车辆。这可能是历史上第一次一个机器人被正式指控自身存在过失操作——这一侵权指控曾经是专门针对人类行为人的。然而，这种归责思路在任何时候都应当被拒绝，即使现代侵权法对过失的认定已经趋于客观化，但过失的概念始终指向人类行为人的行为，和人的主体性相挂钩，将过失标准适用于AI系统的“行为”或表现是不切实际的。可以预见，随着AI系统的自主性的增强，未来在很多人工智能事故中，法院需要从评价使用者（如驾驶员）的行为更多转变为评价AI系统（如自动驾驶系统）的行为，而对于AI系统的“行为”或表现，应从产品缺陷的角度而不是从过错的角度来进行评价。这要求我们及时更新面向工业时代的传统产品的产品责任制度。

误区4：基于功能等效原则对部署、操作AI系统的主体进行替代问责。

功能等效原则（Functional Equivalence）认为，如果AI系统等自主技术的使用在功能上相当于雇佣人类辅助人员，并由此造成了损害，那么运营者（operators）部署、使用该技术的责任应当与委托人（Principal）对其人类辅助人员（Human Auxiliary）的既有替代责任机制相对应，也即AI系统的运营者对AI系统造成的损害承担替代责任。然而，这种思路是自麻烦的，基于功能等效的责任类推乍看起来似乎很合理，但实际上却不具有可行性。而且功能等效理论只是在表面上关注了技术的替代效应，却没有洞察这种技术现象背后的真实风险制造与控制。例如，在人工智能之前的时代，工厂利用自动化装置取代工人，如果自动化装置出现故障并造成损害，受害人会考虑追究自动化装置的生产者的产品责任，而不是让工厂对自动化装置承担替代责任。虽然AI系统的风险状况可能不尽相同，但其只不过是比传统的自动化装置更高级、更智能的工具而已，这意味着，人们需要拨开功能等效的迷雾，考察哪些主体（一般即工具的提供者和使用者）制造或控制哪些风险。因为最终人们只是希望有人能够对AI系统造成的损害承担责任，而不是希望像追究人类行为人的责任那样追究AI系统的责任。

AI时代的侵权责任制度

路在何方？

虽然人工智能给现行侵权责任制度的有效适用提出了挑战，但这并不意味着我们需要另起炉灶，采取全新的责任方案。相反，在现阶段，通过对过错责任、产品责任等既有侵权责任规则作出必要的调整，我们就能够让侵权责任制度适应AI时代的发展需求，并在安全与创新之间实现平衡。

其一，坚持人工智能的法律客体地位，在AI事故和AI侵权中贯彻人的责任。从技术现实出发，现在的AI系统，无论多么先进和智能，总是需要有人开发它，并将它投入使用。具体来说，虽然AI价值链纷繁复杂，但我们可以相对清晰地区分出提供者阵营（provider camp）和使用者阵营（user camp）这两个体。这种区分在法律上是有意义的，因为在每个体内部（比如生产者和供应商之间、所有人和使用者之间），责任都可以相对容易地通过合同工具分配给其中一个成员或者在几个成员之间分担。例如，欧盟人工智能法案区分了AI提供者和AI使用者（deployer of AI system），并重点针对这两类主体施加了相关的义务和责任。因此，为了侵权责任目的，建立AI提供者和AI使用者的识别、确定标准，是必要且重要的。

其二，为AI时代革新产品责任制度。虽然在人工智能应用的很多具体使用场景中，使用者仍需履行一定的注意义务（诸如按照预期用途使用、确保数据质量、监测、维护等），对人工智能使用中其能够控制的那些方面承担责任，但长期来看，使用者的注意义务将会缩小，这意味着使用者的责任也可能会相应缩小。在AI所有人、使用者的角和控制力持续削弱的趋势下，未来人工智能提供者的责任将可能进入侵权责任法的中心舞台。而AI系统作为一种新型的“智能”产品，呼吁对既有的产品责任制度作出必要的革新，包括产品概念、生产者界定、缺陷、可赔偿损害、因果关系、举证责任等方面。例如，在人工智能监管方面，欧盟立法者在制定全球首部全面性的人工智能法案的同时，对1985年出台的欧盟产品责任指令进行了全面的修订，旨在为数字时代和AI时代建立全新的产品责任制度。与此同时，欧盟立法者仍在酝酿“AI责任指令”（AI Liability Directive），旨在针对AI使用者的责任建立更明确、更可操作的规则。

其三，保险应作为AI责任框架的有益补充机制，而非替代性机制。保险作为风险管理工具，在促进新技术安全融入社会方面发挥着不容忽视的重要作用，比如通过提供财务保障激励创新并确保新技术的安全实施。通过适当的调整和监管干预，保险能够继续支持技术创新，并为社会提供必要的保障。现有的保险制度可以被用来监管AI系统，但无需制定专门的或全面性的人工智能保险政策。同时应当谨慎针对人工智能应用出台强制性的保险政策，以免适得其反地阻碍能够带来显著经济和社会效益的AI技术的推广普及。

其四，AI侵权责任制度之外，需要重视并积极应对前沿AI的安全风险。在人工智能治理方面，AI侵权责任规则是必要的，但其作用是有限度的，虽然能够有效应对AI系统可能给人们的人身、财产权益造成的损害风险，但对于超级智能等前沿AI（frontier AI）可能带来的极端风险或灾难性风险，AI侵权责任规则难以起到实质性作用。在AI加速发展趋势下，超级智能（superintelligence）已经呼之欲出，其潜在安全风险日益得到各国政府、研究界、业界的积极关注和重视。国外AI专家指出，长期来看，大多数人都低估了超级智能的安全风险可能有多严重。因此，积极倡导、发展、构建福祉型人工智能（wellbeing AI），利用人工智能最大化个人的、社会的以及环境的福祉，将包括AI价值对齐在内的人机对齐理念融入超级智能的发展，就显得尤为重要。