医学人工智能辅助诊疗引发的伦理责任问题探讨

欢迎关注“中国医学伦理学”

医学人工智能辅助诊疗引发的

伦理责任问题探讨

陈安天¹，张新庆²

（1中国医学科学院北京协和医学院北京协和医院心内科，北京100730,chenantian1@163.com；2北京协和医学院人文和社会科学学院，北京100005）

达芬奇机器人已在临床上应用；常规的药品研发过程整合生物、化学以及制药研发，流程十分复杂，AI技术已被用来辅助筛选药物靶点，有助于研发方案最佳化^[1]。同时，机器人诊疗引发了伦理和法律问题，包括：道德风险^[2]、患者隐私泄露^[3]、侵权责任^[4]及主体地位^[5]等。本文将重点讨论AI辅助诊疗引发的伦理责任问题。在第七版《现代汉语词典》中，责任指：“分内应做的事”和“没有做好分内应做的事，因而应当承担的过失”。本文中的责任的意象应取后者。技术一词也有两个意象，分别为：“人类在认识自然和利用自然的过程中积累起来并在生产劳动中体现出来的经验和知识，也泛指其他操作方面的技巧”以及“技术装备”。AI引发的责任问题应该是“AI这一技术装备没有做好分内应做的事，因而应当承担的过失”。假如机器人医生推荐危及患者生命的诊疗方案，而人类医生没有表示异议，并实施了治疗方案，最终导致严重不良事件发生，引发医疗纠纷。那么，机器人医生是责任主体吗？人类医生、机器人医生及厂家分别应该承担怎样的责任？

1

AI辅助诊疗引发的责任问题

1.1 AI辅助诊断中的算法黑箱

和算法歧视

     医学影像学技术对于疾病的诊断、评估和管理十分重要。临床上大量影像学资料的快速积累使医生几乎将全部时间用于阅片，无足够的时间结合临床实践分析研究结果。与此同时，许多实践中的误诊误治也与未能正确解读影像学图像相关。AI技术可以作为补充阅片技术，将医生从繁杂的阅片工作中部分解脱出来。还可以提升阅片质量水平，根据大数据帮助医生选择最合适的化验检查和治疗手段。持有技术乐观主义观点的论者称，临床上不能诊断的个案有很多，AI辅助诊断并不失为一项提高现有诊断水平的新技术^[6]。

不过，有人会持有一种技术悲观主义立场：AI可以将既往人类的经验和现存的海量数据结合起来，对现有患者情况进行判断，形成知识黑箱。“黑箱”这一概念起源于控制论，指内部状态不被外部知晓的系统。许多AI领域依赖的机器学习，正是依靠不被外人所了解的算法来运作的，AI内部的算法构成了一个算法黑箱。AI的核心是内部的算法，这属于共识的商业机密，公开了就会被业界模仿。AI厂商因为担心软件的死亡，“主动”使得算法成为黑箱。这种人为制造不确定知识的做法诱发了针对患者的安全隐患，违反了不伤害原则。例如，AI的行为举止都是由内在程序预先设定的，需要足够完善的算法保障运行过程的正常进行。如果算法出现差错，就会使得AI天生的对特定的人群产生“算法歧视”。一方面，即便算法公开，也并不能解决算法歧视等问题^[7]；另一方面，算法与日常语言不同，是用计算机语言写成的，其专业性也使其“被动”的不能被外界知晓。AI研究者和使用者很难事先做到精准的利弊计算，也就无法避免此类事件的发生^[8]。

     实际上，技术乐观派和技术悲观派代表了两种截然相反的针对当下AI算法黑箱的差异性认知，本也无可厚非。兼听则明，医学专业人员需要掌控AI技术在临床应用中的价值，遵循收益最大化和风险最低化相结合的原则，改进技术，避免诊断过程中的算法歧视。此外，由于AI诊断完全依靠内部机器学习算法，很难确定其在诊断罕见病方面的能力，因此需要医务人员发挥专业自主性，严格把关，避免其蜕变成一个“知识黑箱”^[9]。设计不完善的黑箱可能会引发临床诊断的不确定性，可能存在尚未被算法纳入的临床情况导致算法崩溃的发生。AlphaGo在对阵李世石时就曾因为围棋落子在算法的漏洞上导致崩盘。在临床实践中，这表现为个别化验检查结果的微小偏差就会导致诊断结果的迥然不同，这种临床诊断过程的不确定性是医生和患者都不能接受的。算法黑箱还会带来知情同意问题，患者很难认可自己不理解的事物，尤其是没有人类情感的冰冷的机器人，患者的不理解会给明确诊断及治疗方案的选择增加额外的难度。

     算法歧视并不少见，在金融领域便存在弱势群体的信誉得分被降低、拒绝有色人种贷款以及贷款信息更多地被展示给低收入群体等。目前针对医疗领域算法歧视的表述并不多，这里笔者结合医学专业背景和机器学习知识进行阐述。机器学习的过程大体上是从训练数据集中归纳总结出一类患者的特点，并将此作为筛选标准应用于测试数据集，若合格便进一步推广并应用。结合其他领域的算法歧视实例，医疗领域的算法歧视可能包括：针对低收入人群推荐疗效欠佳但价格较低的治疗方案，诊疗措施受性别影响等。

1.2 AI辅助治疗中的风险及归责原则

目前，AI技术已在治疗领域得到广泛应用，O’Sullivan等对此进行了探讨，涵盖了法律及伦理等多方面的问题，并阐述了AI的风险，比如：受到网络安全的影响，需要足够的测试，难以进行的软件认证等^[10]。AI的风险包括：诊疗失误、产品缺陷、患者接受程度低、行业标准缺乏以及监管缺失等。目前，在现今应用较广的辅助性机器人手术领域，相应的行业标准还尚未建立，全自动机器人的标准更是一片空白。即便有了相关标准，患者对于全自动机器人手术的接受度也尚未可知^[11]，机器人诊疗甚至有可能降低患者康复的信心，加重患者焦虑情绪。此外，手术机器人在实施手术过程中可能会出现失误，可能是医生操作导致的，也可能来源于机器人本身的缺陷，有导致患者的残疾或者死亡的风险。风险既来源于AI本身，也来源于监管的缺乏。缺乏医疗领域AI的准入和质量标准，难以确保AI整体水平，无法保证AI的安全可靠性。监管的缺失使得这一现象更加泛滥，AI技术目前缺乏规范性文件的指引，无针对相关专业人员的培训，在模拟人的测试结果不可靠，严重影响医疗质量，也带来医疗数据信息安全问题。

人类和AI的关系是多样的，可以将AI机器人分为两类，一类为通过计算机领域的机器学习等掌握了一定的医学知识，最终具有独立诊断能力的机器人医生；另一类机器人则根据大数据等提供诊疗意见，最终诊疗措施由医生审核制定，仅相当于辅助性的诊疗工具。这两类AI机器人在本质上都可以归于一种产品，其作用是自主或辅助医学专业人员做出诊断，甚至实行治疗。

目前，学者们根据现行的《中华人民共和国民法通则》第一百二十二条及《中华人民共和国产品质量法》第四十一、四十二条，提出了产品方面的四种归责原则^[12]。第一种认为产品责任适用过错责任原则，以过错要件为核心构成要件。第二种认为应适用过错推定原则，这是一种介于过错责任及无过错责任之间归责原则，值得一提的是《中华人民共和国侵权责任法》第五十八条针对医疗过错便采用的此原则。第三种倾向于严格责任，即无过错责任，而这也是多数学者所主张的观点。最后一种相对复杂，认为产品责任的适用应当将过错责任及无过错责任相结合，是一种二元归责原则。考虑到医疗领域AI的特殊性，在责任适用上存在着法律上的竞合关系：一方面适用产品责任归责原则；另一方面，也适用医疗责任的归责原则。

2

AI辅助诊疗引发的责任划分问题

当AI出现诊疗差错，医生、医疗机构乃至机器人的生产者、销售者是否需要承担责任，机器人本身能否作为责任主体？

2.1 人类行为主体的责任划分

第一，医生的责任。在诊疗过程中，根据机器人的智能化程度不同，医生的角色有两种，一种是负责审核机器人的判断，或操作机器人完成诊疗的上级医生，另一种是与更加智能化的机器人医生共同给出诊疗意见的医生，地位与机器人相同。根据医生角色不同，责任分配上也有所区别。

第一种情况中，机器人仅起到辅助性作用，对诊疗过程无决定性影响。具体而言，首先由机器人分析患者各项检查数据，根据内置算法及机器学习结果做出判断。接下来人类医生审核机器人的判断结果，并判断是否可行。若结果通过，相应的结果会被反馈给患者以指导下一步诊治；反之，医生将对其进行纠正后再放行。此时，人类医生是机器人的上级医师，应承担相应责任。前文提及的AI辅助临床决策便属于此类，目前AI的智能化程度不足，这是当前医疗领域AI的主要现状。新的AI辅助诊断系统也层出不穷，目前正处于疫情期间，已有22家AI公司推出了相关产品，多是通过内置算法实现的深度学习技术完成对新冠肺炎患者的筛选。辅助诊断AI仅起到了辅助作用，真正为患者做出判断的是医师，医师需要结合症状、体征、病毒核酸及抗体等辅助检查结果及AI技术，综合判断之后作出诊断。因此，在医师作为机器人上级医生时，医生是责任主体，需要对诊疗过程中的差错承担责任。然而，若AI本身存在前文所述的算法问题，AI厂商应根据过错程度承担责任，将在下文加以探讨。

第二种情况目前尚未实现，是一种假想的情况。在这种情境下，AI机器人已经进一步发展成了机器人医生，与人类医生处于同等地位，甚至可能成为人类医生的上级医生。此时人类医生不仅没有能力干预机器人医生所做的决定，甚至在意见不一致时需要以机器人医生的意见为准。在这种情况下，机器人本身是独立行医的个体，人类医师不应该对机器人医生的行为承担责任。至于机器人医生的责任问题将在后文探讨。

由此可见，医生是否需要承担责任是由医师在诊疗过程中的地位决定的：如果诊疗过程中机器人附属于医生，最终的结论是医师做出的，医生需要承担相应责任；如果机器人医生不受人类医生约束，人类医师便无须担责。

第二，医疗机构的责任。医疗机构是医生执业的场所，也是诊疗行为发生的场所，AI机器人参与诊疗的前提是所在医疗机构的批准。法律上无论诊疗行为的过错主体是人类医生还是机器人医师，根据《侵权责任法》，员工（医生）致人损害，由雇主（医疗机构）承担无过错替代责任，之后可向造成损害的员工（人类或机器人医师）追偿。可见，医疗机构首先要承担赔偿患者及其家属的第一位责任。接下来我们探讨责任分配期间医疗机构应该承担的责任。

医疗机构作为诊疗场所，首先应该具备完善的机构伦理，机构伦理意为“追求机构的价值观和使命,营造机构伦理氛围”，完善的机构伦理是机器人得以应用的重要前提保障^[13]。同时，医疗机构应当具备完善的AI机器人诊疗流程，如果损害结果的发生是流程缺陷直接或间接导致的，医疗机构应该按照过错程度承担责任；如果流程足够完善，医疗机构尽到了合理的注意以及管理义务，便无须承担责任。所以说，医疗机构承担责任与否应该视其是否具有过错而定，本质上是过错责任。

具体到机器人内部算法问题以及高度智能化的机器人医师这两种特殊情况时，医疗机构同样存在承担责任的可能，这里再次以新冠肺炎诊断相关AI为例进行说明。若算法本身存在问题，除生产厂家需要承担责任外，医疗机构需要根据招标流程、算法审核及安全风险管控等过程是否存在过错来判断是否应该承担责任，并根据过错程度判断责任分担。如果机器人是完全自主的“新冠肺炎诊断机器人”，医疗机构此时相当于机器人的雇主兼上级，则需要对机器人诊疗过程中的纰漏承担责任。

第三，医学AI厂家的责任。首先要明确的一点是，如果AI适用前文讨论的产品责任，四种归责原则中的哪一种比较合适？根据法经济学的观点，以过错责任为归责原则能更好地增加消费者剩余，并且能鼓励生产者创新，有利于AI领域的发展^[12]。严格责任顾名思义过于严格，生产者即使没有过错也需要承担责任，而过错责任则体现为瑕疵担保责任，既可以督促企业抓好质量，又可以使企业放心大胆的创新。

《侵权责任法》规定，产品缺陷致人损害，被侵权人可以向产品生产者或销售者追偿，AI厂家就是条款当中的生产者，而且也很可能同时扮演了销售者的角色。前文已经论证过，当AI内部算法等出现问题时，AI厂家需要承担相应责任，但实际上判断算法层面上的问题并不容易。对于同一个疾病的诊疗，存在着不同的算法，很难比较不同算法之间的优劣。这就好比不同的医师根据不同的指南做出判断，很难评判指南之间的优劣一样。所以，除非存在明显的算法逻辑错误，或前文提到的算法歧视问题，否则很难在算法层面上追究AI厂家的责任。

除了算法领域，AI厂家在其他层面上也需要承担责任。机器人系统存在被黑客入侵的可能，这一问题对于独立自主进行手术的高级机器人更为严重，机器人的自主性越高，黑客入侵导致的损害结果就越严重。机器人系统漏洞导致的诊疗责任应由AI厂家承担。同样，在大数据时代，患者的隐私保护问题十分严峻和重要。一方面，AI算法本身的实现便涉及大量患者的信息和数据；另一方面，在AI运行过程中又会有大量数据生成，患者诊断信息等均属于道德和法律双层面上的隐私。AI厂家要在使用海量数据的情况下保障网络和数据的安全

2.2 AI的责任认定问题

第一，AI机器人的主体地位考察。现今的手术型机器人如达芬奇机器人实质上是一种高级的技术产品，但同样存在内在缺陷。考察AI的主体地位时要区分现在临床使用的达芬奇手术机器人和未来的强AI手术机器人，前者还属于机器的范畴，并非责任主体，技术设计缺陷而导致的伤害，厂家和医院要根据过错程度共同承担责任；后者在一定意义上成为责任主体时，存在承担道德责任和民事责任的可能性。显然，低级别的受人类控制的AI机器人是不需要承担责任的，因此不存在主体地位这一概念，这里将讨论更复杂的机器人医生。

学术界对此有诸多观点。甘绍平等认为机器人是物，不具有自主选择性，因此不具备道德主体性^[14]]。然而，温德尔·瓦拉赫等在其著作《道德机器:如何让机器人明辨是非》一书中指出，机器可以进行基于人类基本道德准则的对错判断，故具有道德性。还有学者将机器人的行为进一步细化，认为机器人按照设计的行为所做的决策是产品设计者和使用者的延伸，而超出的部分属于机器人的自主行为，应对这一部分承担相应的责任^[15]。但智能机器人从本质上并不具备自由意志，其行为不具有法律上的评价意义^[16]。后一种观点似乎更为可靠，内部的程序并不等同于意志，这也是目前业界的普遍共识。来自欧洲14个国家的156名AI专家曾联合称：授予机器人法人资格的行为是不恰当的^[17]。

目前，AI机器人仍缺乏自主意识及理性思考能力。然而在未来，更加复杂的机器人的诞生不可避免，图灵测试表明，复杂的AI可能具有一定的意识水平。现阶段的机器人仅仅是医疗从业者用以诊断、治疗相关疾病的辅助工具，不具备成为责任主体的资格。随着智能化机器人的出现，其角色可能愈发接近于医师，甚至成为真正的机器人医师，具备成为责任主体的可能。

第二，AI与患者的责任。AI辅助诊疗需要获得患者的知情同意，这是必要的，患者如何看待这些机器人成了一个热点问题。看法主要有两种，一种是将机器人当成医师用来辅助诊疗的工具，另一种是将它们看成独立行医个体，即机器人医师。对于仅仅作为辅助诊断或治疗的机器人来说，伦理问题仍然是客观存在的。举例来说，自主性不高的机器人辅助手术系统归根结底是医师操作的，但由于各个系统的操作方式不同，再加上医师在机器人使用方面训练程度不够，导致误操作事件时有发生。这就需要建立一个通用的且行之有效的培训体系。

更加智能的AI或许具备一定的临床诊治决策能力道德判断能力。完全由机器人施行的手术同样面临着同人类医师一样的艰难选择，这些选择应该严格按照病情、生存率等患者基本情况确定，最终目的是最大限度保障患者的利益。这样才可能消除患者被机器人决定命运的无力感^[18]，AI应该是以人类生命健康为第一要务的负责任的机器人医师。

3

讨    论

AI辅助诊疗机器人作为一种新事物，难免会遇到相应规章制度及行业标准的缺乏问题。通常是先有新事物，然后才有附属于新事物的规定，规章制度的滞后性是可以理解的。只不过医疗领域AI因为其医疗的属性而具备了特殊性，相比自动驾驶等其他AI而言，“最有可能”或者说最被担心容易造成损害。也是因为这一属性使得患者对医疗领域的AI不易接受，甚至产生抵触情绪，影响知情同意甚至治疗效果。AI的问题多与内在的本质逻辑相关，算法和数据安全衍生出的伦理问题是基于机器学习这一属性的，而安全性基于互联网特性。至于算法歧视的问题，在医疗领域可以被解释为疾病特点：假如A疾病在40~50岁的男性患者中高发，那么AI更容易将分布于这一年龄段的男性诊断为A疾病，很难说是一种性别歧视。但是，如果算法涉及治疗方面的算法歧视问题，比如针对不同家庭条件提供不同的治疗方法，这是不可取的。医学AI目前存在的这些问题使得伦理审查十分必要。事实上，伦理审查的要点还包括技术层面和法律层面：技术层面的要求包括数据质控、算法研究和临床风险等，这也是审查关注的重点；而法律层面的要求则包含知识产权等内容^[19]。

尽管AI目前存在着内在风险和外在监管等方面的问题，但是AI在医疗领域的应用已不可避免。为了更好地使用AI，我们需要对不同行为主体的责任进行划分。根据机器人医师的地位不同，人类医师需要承担的责任也不同，当人类医师是机器人的上级时需要承担相应责任；若机器人医生能够独立行医则人类医生无须担责。医疗机构根据过错程度承担相应的责任，考察方面包括内在的机构伦理，机器人招标采购流程及诊疗流程等。AI厂家则需要对算法问题承担责任，并负责保障机器人的网络安全和患者的数据隐私。至于机器人本身在法律上没有评价的意义，无须承担责任，责任可能由雇主医疗机构承担。假如未来人工智能能够主导诊断过程并辅助治疗方案的制定，那么将深刻地改变人类医师的行为、医疗教育的方式以医患关系的性质，进而深刻地影响整个医疗卫生服务的提供方式，并产生深远的社会影响。鉴于此，前瞻性的开展针对AI辅助诊疗活动的伦理反思尤为重要和紧迫。及时制定伦理准则并开展伦理教育，提高伦理意识尤为关键。

（致谢：感谢范瑞平教授在本文构思和写作过程中提出的宝贵修改意见）

参考文献（向上滑动查阅参考文献）

[1]Alvarez-Machancoses,O.，J.L.Fernandez-Martinez.Using Artificial Intelligence Methods to Speed up Drug Discovery[J].Expert Opin Drug Discov,2019，14(8):769-777.

 [2]常晓亭.工智能创新发展中的道德风险研究[J].中国医学伦理学,2020，33(2):137-142.

[3]周吉银,刘丹,曾圣雅.人工智能在医疗领域中应用的挑战与对策[J].中国医学伦理学,2019，32(3):281-286.

[4]冯珏.自动驾驶汽车致损的民事侵权责任[J].中国法学,2018(6):109-132.

[5]时方.人工智能刑事主体地位之否定[J].法律科学(西北政法大学学报),2018，36(6):67-75.

[6]London,A.J.Artificial Intelligence and Black-Box Medical Decisions:Accuracy Versus Explainability[J].Hastings Cent Rep,2019，49(1):15-21.

[7]王夙.人工智能发展中的“算法公开”能否解决“算法歧视”?[J].机器人产业,2019(3):17-22.

[8]Keskinbora,K.H.Medical Ethics Considerations on Artificial Intelligence[J].J Clin Neurosci,2019，64:277-282.

[9]Massalha,S.,O.Clarkin,R.Thornhill,et al.Decision Support Tools,Systems,and Artificial Intelligence in Cardiac Imaging[J].Can J Cardiol,2018，34(7):827-838.

[10]O’Sullivan,S.,N.Nevejans,C.Allen,et al.Legal,Regulatory,and Ethical Frameworks for Development of Standards in Artificial Intelligence(Ai)and Autonomous Robotic Surgery[J].Int J Med Robot,2019，15(1):e1968.

[11]Sharkey,N.，A.Sharkey.Robotic Surgery:On the Cutting Edge of Ethics[J].Computer,2013，46(1):56-64.

[12]魏益华，于艾思.法经济学视阈下人工智能产品责任归责原则[J].吉林大学社会科学学报,2020，60(2):110-118，221.

[13]何玲玉,彭迎春,张新庆.学研究中的机构伦理问题探究[J].医学与哲学,2020，41(3):30-33.

[14]甘绍平.机器人怎么可能拥有权利[J].伦理学研究,2017(3):126-130.

[15]刘宪权.人工智能时代的“内忧”“外患”与刑事责任[J].东方法学,2018(1):134-142.

[16]彭景理.论人工智能时代智能机器人的刑事责任能力[J].大连理工大学学报(社会科学版),2020，41(2):71-79.

[17]郭旭芳，刘辉.生物医学领域人工智能应用的伦理问题[J].基础医学与临床,2020，40(2):285-288.

[18]Fiske,A.,P.Henningsen,A.Buyx.Your Robot Therapist Will See You Now:Ethical Implications of Embodied Artificial Intelligence in Psychiatry,Psychology,and Psychotherapy[J].J Med Internet Res,2019，21(5):e13216.

[19]周吉银,李红英,杨阳.人工智能医疗器械的伦理审查要点[J].医学与哲学,2020，41(6):35-39,56.

文献来源

陈安天，张新庆.医学人工智能辅助诊疗引发的伦理责任问题探讨*[J].中国医学伦理学,2020,33(7):803-808.

《中国医学伦理学》杂志由中华人民共和国教育部主管、西安交通大学主办。1988年创刊，自2003年起连续18年蝉联“中国科技核心期刊”，2019年影响因子为1.584。

编辑：耿姝瑶 孙小楠

审核：吉鹏程