ONC 在新规中写道,“鉴于由经过认证的医疗卫生 IT 开发商提供的在医疗保健领域使用的 AI 产品激增,我们认为现在是帮助优化 AI 和机器学习驱动的决策支持工具的使用和提高质量的好时机。”
Epic 和 Oracle-Cerner 等 EHR 供应商已开始分销 AI 模型来预测患者的死亡风险以及他们是否可能在医院病情恶化或出现败血症等危及生命的并发症。但在某些情况下,这些模型提供了有关这些工具性能的误导性信息,或者未能确保其在足够多样化的患者群体中进行了测试。例如,据调查发现,预测患者患败血症风险的 Epic 模型在许多卫生系统中的表现比宣传的要差,而且随着时间的推移,其性能显著恶化。
新规不适用于医院内部开发的帮助做出有关患者护理决策的 AI 模型。目前,只有一小部分最大的学术医院有能力构建和实施 AI工具。
相反,新规针对的是大型医疗卫生软件供应商,迫使他们解释用于训练 AI 模型的数据集的来源和内容、如何测试它们以及如何识别和减轻潜在危害。新规还要求供应商通过提供有关模型性能的最新信息以及管理风险所需的任何其它步骤来支持模型的持续维护。
在新规最终版本中,监管机构将 AI 透明度条款的范围缩小至电子病历供应商开发或向卫生系统和其他客户提供的模型上。新规的早期版本提议将透明度规则应用于其软件系统“启用或与之交互”的模型。这种语言引起了大量的反对,因为这句话可以被解释为几乎任何依赖于电子记录保存软件中包含的数据的预测模型。