首页 > 资讯 > FDA 局长发表 JAMA 署名文章，全景式探讨 FDA 的 AI 监管考量

出自识林

2024-10-23

10月15日，《美国医学会杂志》（JAMA）发表了由FDA官员撰写，FDA局长Califf医学博士署名的一篇通信文章《FDA对医疗保健和生物医药中人工智能的监管视角》。

随着人工智能（AI）技术的飞速发展，其在医疗保健和生物医药领域的应用日益广泛。FDA对AI的监管框架和方法受到了前所未有的关注。值得注意的是，尽管FDA在医疗器械领域的AI应用上取得了显著进展，批准了近1000个AI驱动的医疗设备，但在药品领域的AI应用监管方面进度滞后。从2020年到2021年，涉及AI在药物发现和开发中应用的监管提交数量增加了十倍，预示着AI在药品领域的巨大潜力和迫切需求。

本文提出了10个关键概念，全景式体现了FDA对AI监管的深入考量。这些概念不仅涉及AI在微观层面的具体应用，如大型语言模型和生成式AI的挑战，也关注了监管的宏观目标，如确保AI技术在提高患者健康结局方面的有效性和安全性。本文简要介绍其中几个概念，作为导读，识林读者可登录识林阅读原文，以获得更全面和深入的理解。

什么才是FDA眼中的AI？

ChatGPT横空出世，将AI从计算机科学课本和科幻电影中带到我们面前，随之而来的是资本助推的宣传攻势，AI的定义在公众领域含糊不清。但“名不正则言不顺”，对人工智能（AI）的定义至关重要。文章中，FDA将AI定义为一种基于机器的系统，它能够针对一系列人为定义的目标，对真实或虚拟环境做出预测、推荐或决策。这种定义强调了AI系统利用机器和人类的输入来感知真实和虚拟环境，通过自动化的方式分析这些感知，形成模型，并通过模型推理来形成信息或行动的选项。

可以看到，FDA并不只是关注大语言模型（LLM），而是采取了广泛的AI定义。选择这种定义方式对FDA的监管导向有着根本性的影响。首先，它强调了AI系统的自动化和自适应能力，这意味着监管框架必须足够灵活，以适应AI技术的快速发展和不断变化的应用场景。其次，定义中提到的“人类定义的目标”表明AI系统的设计和应用需要在人的控制之下，这强调了在AI的监管中需要考虑伦理和责任问题。

FDA对于大语言模型（“GPT们”）尤为谨慎

但LLM还是FDA绕不开的。文中第五个概念特别强调了LLM的监管考量。FDA迄今为止尚未授权任何一个LLM用于医疗诊断、治疗或疾病预防，这背后的核心原因在于LLM生成的结果具有不可预见性，即使不提LLM在回答问题时的幻觉，作为基础信息的医疗记录中，“AI听记”也可能产生幻觉或包含未在访问中讨论的诊断。

FDA建议，在心血管和肿瘤领域，以及一些低风险的临床流程，可以作为LLM应用的起点。这些领域拥有大量的证据支持临床决策，因此可以为LLM的应用提供坚实的基础。在这些领域中，LLM的潜在应用包括辅助诊断、个性化治疗计划的制定以及患者数据的分析。然而，FDA也强调，即使是在这些领域，也需要谨慎行事，确保LLM的应用不会对患者安全造成威胁。

有必要采取与传统监管迥异的“反复的”监管

第六和第七个概念突出了FDA对AI生命周期管理的重视。FDA认为，AI的性能和效能需要在其实际使用场景中进行持续监控，而不仅仅针对AI本身。这意味着监管范式的转变，从传统的代表性的、基于验证的监管模式，转向了反复的（recurrent）乃至连续的监管模式，以适应AI技术的动态性和对环境变化的敏感性。

目前，FDA指出，无论是药物开发还是药物临床社区，都未能建立起反复的、本地的AI生命周期评估。这种评估的缺失可能导致AI模型在实际应用中的性能无法得到充分的监控和验证，从而影响患者安全和治疗效果。

与此同时，FDA还进一步强调AI产品的上市后评估的严格程度（rigor）应该不亚于其上市前评价。这与传统的药品监管有根本性的不同，因为传统的药品监管通常是基于代表性的上市前临床试验和工艺验证等等活动。对于AI而言，由于其对环境变化的敏感性和持续进化的特性，需要持续的上市后监测来确保其长期安全性和有效性。

供应链管理：寄希望于AI的“无孔不入”

第八个概念着重讨论了AI在供应链管理中的应用，以及FDA对于AI在预防药物短缺方面的期望。FDA认识到，AI模型在处理海量数据和填补数据漏洞方面具有巨大潜力，这使得AI成为优化供应链管理、预测和应对药物短缺的关键工具。AI的这一潜力来自于其对复杂数据集的分析能力，能够识别模式、趋势和异常，从而提前预警潜在的供应链中断。此外，AI还能够通过填补数据漏洞，提供更全面的市场洞察，帮助企业做出更准确的库存和分销决策。

这番措辞的背景，在于FDA和其他政府机构通常无法获得企业供应链的详细数据，这些数据通常被视为商业机密。然而，FDA期望AI能够访问和处理这些数据，以实现更有效的供应链管理。这种期望本身没有充分考虑到数据拥有者最关心的数据安全和隐私问题。对于不打算提交给监管部门的数据，企业也会想方设法给AI设置障碍。在药品监管之外，AI本身就面临数据安全方面的巨大监管压力。

AI为企业降本增效，患者的利益呢？

第十个概念触及了AI在医疗保健中应用的一个核心矛盾：尽管AI技术能够提高医疗服务的效率和降低成本，从而使得健康产品更加可及，但它同时也可能导致医疗服务中人与人之间的互动减少，而这种人际互动对于患者的健康同样至关重要。

一方面，AI可以帮助快速分析患者数据，从而加快诊断过程，减少等待时间，并使得医疗服务更加个性化。此外，AI还能够通过预测分析来预防疾病的发生，减少医疗资源的浪费，使得医疗服务更加经济高效。另一方面，医生和患者之间的直接互动可能会减少。这种减少可能会影响患者对医疗服务的满意度和信任度，因为人际互动和同情心在患者治疗和康复过程中扮演着重要角色。此外，AI可能无法完全理解患者的非言语线索和情感需求，这可能会影响患者的整体健康和福祉。

信任是监管的目标，也是创新的基石

结论部分，FDA强调了其监管目标的核心：建立和维护公众对被监管领域，尤其是医药产品的高度信任。

这个表述，与惯常作为监管目标的“安全、有效、质量可控”不同，从另一个角度，或者从一个更高的层面，揭示出FDA对于药品监管（不仅仅是AI监管）的认知。

当公众信任医药产品和医疗设备时，他们更可能接受和采用这些新技术，从而加速技术的普及和改进。高度的公众信任可以减少对新技术的无端质疑和反对，为创新提供一个更加宽松和支持性的环境。此外，当患者信任医疗产品和治疗方法时，他们更可能遵循医嘱，从而提高治疗效果并确保安全性。最后，信任降低沟通成本，在信任的基础上，FDA、行业和学术界可以更有效地合作，共同解决监管和技术创新中的复杂问题。

因此，FDA认为合规是全行业所有参与者的共同利益所在。企业也应该认识到他们的行为对于维护这种信任的重要性，并在开展业务时始终以患者的利益为先。通过这种方式，AI和其它新技术才能真正实现其改善患者生活和提高医疗保健质量的潜力。

识林-实木

识林^®版权所有，未经许可不得转载