监管AI医疗不必打开算法黑箱吗？

 在医疗AI领域，IBM沃森“医生”一直被视作为成功实现商业化应用的行业标杆，对于其应用效果和监管方式的观察很大程度上左右着我们对于AI医疗行业走向的思考。 10月4日至5日，美国《波士顿环球报》旗下的医疗媒体STAT针对IBM沃森“医生”连发两篇调查报道，试图说明IBM沃森“医生”的“超级功能”中存在着技术缺陷，并梳理了IBM为AI医疗应用规避监管所做的游说工作，指出了美国现有法律框架对于AI医疗监管的疏忽之处。 ◆ ◆ ◆ 不打开算法黑箱，AI医疗可靠吗？
沃森“医生”和其它临床决策支持技术的核心功能是指导医生诊疗疾病，这种指导所借助的技术虽然称之为“人工智能”，本质上是背靠大数据的一些效率更高的算法。 医生受这些算法的“加持”为病人提供服务，无形之中模糊了传统医疗监管方式中对于“人”和“机器”的区分，这种模糊使得医生的诊疗过程暗藏了一些风险：算法本身的决策过程可能没有扎实的理论解释。 一位接受健康点采访的算法工程师表示，人工智能依靠的是一些更加的算法，例如医疗领域的这些算法很多是建立在仿生学的基础上，比如卷积神经网络模型就是基于猫的视网膜神经节细胞的反应敏感性分布实验建立的数学模型。算法工程师虽然对这种模型的数学推导和证明了然于心，但却无法解释整个运算过程，并且算法模型中也存在一些超参数，这些超参数究竟会如何影响终结论，到现在为止都无从知晓。 这更使得对外界而言，不少AI算法的整个过程犹如“技术黑箱”。 这种“技术黑箱”如果运用于医学影像标注圈定可能影响不大，但是一旦涉及到主观性更强的辅助诊断，问题便会暴露出来：医疗AI技术向医生提供辅助咨询建议，能够一定程度左右医生的决策。但是，即便像沃森“医生”这样落地到商业应用中的技术，给出的诊疗方案背后也仅仅只是医疗文献，至于算法为什么抓取这些文献，算法如何赋予不同诊疗方案不同的评价，对于外界而言往往不得而知，这使得医生在与沃森“医生”的合作中难以形成更深的互动。 STAT在上述调查报道中采访了佛罗里达州Jupiter医疗中心肿瘤医生Sujal Shah，表达了类似的观点。虽然沃森“医生”给一名73岁肺癌患者建议的化疗方案与他自己的想法不谋而合，Sujal Shah医生仍然表示，沃森“医生”所提供的背景资料，包括医学期刊上的文章，仅仅使他增加了使用这种方案的信心，沃森“医生”本身其实并未让他获得任何新的启发。 这背后的问题是很多时候，现阶段的医疗AI仅仅是向医生展示了结果，并未解释结果产生背后的逻辑，这使得整个辅助诊疗过程更像是一个医学版的搜索引擎，搜索所形成的关系很难使医生用户和系统形成深入的互动。 ◆ ◆ ◆ 缺乏解释成为AI医疗监管的难点 AI算法逻辑解释的缺乏不仅影响了医生与AI辅助诊断技术之间的互动，还使得AI技术的监管边界变得难以把握。 据STAT报道，一些医生和消费者团体认为，正是因为AI算法具备“技术黑箱”的特点，FDA等的监管方需要对如沃森“医生”这样的AI医疗辅助诊断系统进行更加仔细的检查和监管。 国家医师联盟FDA特别小组联席主席Reshma Ramachandran在接受STAT采访时说道：“除非大家完全理解了AI技术的基础和算法工作的具体方式，否则必须要有独立的第三方对于这些应用进行严格审查，以保证这些应用不会产生过多负面影响。” 其实不止是国家医师联盟，美国还有很多其他的团体表示了类似的看法，而他们的矛头主要指向了2016年11月通过的《21世纪治愈法案》（The 21st Century Cure Act）中针对于医疗软件的豁免条款。 豁免条款核心作用在于免除了通过信息分析向医护人员提供辅助诊断建议的健康软件的监管，但上述团体成员表示，豁免的前提是医护人员能够独立评价这些建议的逻辑基础，而医疗软件能够做到这一点必须具备相当的透明度。 《21世纪治愈法案》通过后不到两个月，IBM宣布与佛罗里达州Jupiter医疗中心达成了首笔Watson for Oncology交易。IBM则表示选择这样的时间纯属偶然。 事实上IBM在法案通过方面花费了不少力气进行政治游说。IBM披露的报表显示，2013年至2017年6月期间，IBM花费了2640万美元来游说国会，白宫和联邦机构。 IBM在一份声明中表示，其中用于游说医疗软件方面的花费占“2013年至2017年的游说支出的不足百分之一”。 但是，IBM拒绝透露其花费的具体数字，或回答在此期间游说对象具体是谁。 IBM仅仅表示，“花费的钱主要用于支持一些病人和医生团体组织，他们的核心工作是在法规层面推动低风险软件和内在高风险技术之间的区分。” IBM一直在尝试说明沃森“医生”具备较低的风险，然而事实是其人工智能的算法透明度尚有待改善。IBM一直强调在AI医疗领域要增加算法透明度，其云计算业务副总裁David Kenny在今年6月向国会提交的公开信中也专门提到，要保证“IBM能够知晓人工智能系统是如何得到终结论，并且能够清楚的解释算法的决策过程，否则系统就不能够在市场中销售”。 在医疗的学术领域内，解释算法黑箱中的决策过程一直都是热点问题。一些医生们担心，算法黑箱中仅有明确的数学公式推导，并没有明确的理论解释黑箱中的决策过程。因此，IBM所承诺的算法透明度能否实现，决定权也可能并不在IBM手上，这是AI技术现阶段本身存在的缺陷。 这种缺陷也造成了AI医疗辅助诊断的监管难点。据STAT报道，美国的监管方、AI医疗的从业者在谈及AI医疗的时候都是从结果出发的，与医生决策的拟合度、筛查准确率——这非常符合算法的思维，以结果为导向。 这种思维用于简单的类似于医学影像标准等的工作并无太大问题，但一旦涉及更为复杂的医疗决策辅助，甚至医疗方案的整体评估建议，不考虑决策过程完全以结果为导向去辅助医护人员，会使得医护人员相当被动，甚至暴露在难以控制的决策风险中。 这些问题之所以会产生，可能还是得归结于技本身的缺陷。因而也就不难理解，复杂的医学决策辅助建构在这样的技术上面，其商业模式存容易存在诸多问题。 正如国际医疗人工智能大会上，上海市决策委员会委员许速所说，AI的本质是辅助人的脑力，延伸脑功能，增强人脑的负荷量，适宜的是一些成熟技术，在涉及面比较广的基础领域更有优势。人工智能发挥巨大作用的地方是社区而非处理处理复杂问题的医院。在决策过程未知的情况下贸然将AI技术引入复杂医学领域，可能只会徒增问题。