英国药品与医疗保健产品监管机构（MHRA）正在开发一个协调框架，以支持使用或计划采用 AI 技术的上市许可持有人（MAH），帮助他们在 MHRA 的检查过程中处理相关验证问题，涉及该主题的首份指南将侧重于在 AI 方面取得了重大进展的药物警戒领域。
MHRA 警戒情报和研究小组组长 Phil Tregunno 在 10 月 6 日至 8 日举办的药物信息协会（DIA）药物警戒授权人全球论坛上表示，这一框架是由去年成立的 MHRA AI 小组起草的，将生成涵盖所有类型的 GxP 检查的 AI 拟议用途的具体指南。
尽管 MHRA 意识到企业正在“全面”使用 AI 来完成诸如预测生产线故障、在临床试验中选择患者，以及进行一些不受监管的活动等任务，但“绝大多数 AI 活动似乎都是在药物警戒方面”用于病例处理。病例处理通常包括由全球病例处理团队手动监视和跟踪的数千个严重不良事件，并根据企业的和监管报告时间表及时处理和报告此类信息。咨询公司 Unique Advice 的独立药物警戒顾问 Doris Stenver 在论坛上指出，企业正在拥抱 AI 来完成诸如这类“当前的数据处理方式显然是不可持续”的任务。
大多数在药物警戒领域采用 AI 技术的企业都在使用诸如自然语言处理（NLP）之类的技术，将数据输入各自的安全性数据库。Tregunno 表示，这是因为 NLP 有潜力“极大地加快病例处理速度”（几秒钟而不是几个小时），并提供“可与人工数据输入相媲美的准确性。”
Tregunno 指出，毫无例外，所有企业和 AI 供应商都采取了“非常谨慎的方法”来验证 NLP 系统以证明其有效性。最初关注的是低复杂度的病例，采用非常强大的质量保证流程（例如，两次数据输入以及 100% 质量控制）以及定期重新检测/重新评估准确性。他表示，尽管这种严格的质量控制方法“本身对企业来说就是资源负担”，但如果它们能够清楚地证明其 AI 系统正在有效运行，那么“潜在的胜利是很重要的。”
此外，MHRA 还了解到，企业关注任何监管指南对这方面的影响。因为企业告诉 MHRA，如果他们已经尽其所能来验证 AI 系统，然后在监管机构发布指南时需要重新进行验证，那将是他们的“噩梦”。作为对此反馈的回应，Tregunno 表示，MHRA 在听取了制药行业、AI 供应商和其它监管机构的意见之后，已经制定了有关在药物警戒中使用 AI 的指南“初稿”。MHRA 目前正在对该草案进行审核，并计划“在不久的将来”发布该指南草案以供利益相关者反馈意见。
指南还考虑了 TransCelerate BioPharma 行业合作组织在 AI 系统验证方面所做的工作。Tregunno 表示，“我们已经与该小组进行了有益的讨论，但我认为从广泛的角度看我们所遵循的原则是一致的。”
Tregunno 在会上讨论 MHRA 指南有望解决的一些关键方面，例如：
AI 系统的训练数据集 — 由于 MAH 用于训练其 AI 系统的数据将从根本上决定其病例的处理方式，Tregunno 表示，重要的是确保训练数据合适，并且对训练数据的选择经过合适的论证并记录。“如果你选择的训练数据是错误的，或不能完全代表你的安全性数据库，那么你实施的AI 技术很可能无法达到预期效果。”
就 MAH 的产品组合、不良事件源的地理位置、病例类型等而言，训练数据必须是恰当的。训练数据还应具有可证明的质量，从而不会在机器学习或 AI 方法中传播训练数据中的人为错误。另外，训练数据集可能需要与验证数据集不同。Tregunno 表示，“实质上，你需要大量的背景数据才能有效地实施这些类型的系统。”
验证 — MHRA 希望 MAH 能够证明他们的药物警戒（包括 AI）已得到充分验证，并且“在病例处理的各个方面，其表现不亚于经过培训的、经验丰富的人工病例处理人员。”Tregunno 解释指出，指南本部的措辞经过精心选择，以使企业能够作为药物警戒系统的一部分实施 AI，如果他们希望的话，还可以采用人工质量控制流程来确保有效的方法。MHRA 将在检查过程中考察整个药物警戒系统的有效性。
不过，关于 AI 组件，“准确性的人工标准应被视为最低可接受标准”，并且期望企业能够“不断提高其 AI 工具和整个药物警戒系统的准确性，以确保达到最高标准。”AI 组件也应根据预先指定的标准进行性能验证。
定期检查 AI 性能 — 由于 AI 系统从本质上具有学习和改变自己行为的能力，因此 MHRA 建议应通过建立“性能阈值”定期检查系统的性能。虽然企业可以实施不会自动进行学习的“静态”系统，但 Tregunno 表示，由于背景数据的变化、产品组合的调整或监管术语的变更，企业仍应定期检查其 AI 系统的性能。MAH 应能够解释和论证所选择的“性能阈值”以及所进行的审查周期，并且“如果 AI 的性能未达到要求的阈值，应该有应急计划。”
离群值 — MAH 必须能够证明其 AI 系统可以“识别不符合机器学习模型的病例，即 AI 系统可能未正确处理的病例，并且需要人工干预。”系统应该能够发出镜报并将此类病例标记给审核人员，以确保对这些病例给予恰当的人工关注。
为此，MAH 应具有“触发这些警报”的阈值以及业务流程，以确保及时查看此类警报。他补充表示，“显然，必须保留 AI 系统产生的所有警报的完整记录以及所采取的补救措施”，并且企业还应能够“证明与这些领域有关的随时间产生的变化。”
审查系统行为 — 如果系统设计允许人工审查 AI 系统的行为或 AI 系统学习的规则，则 MHRA 期望 MAH 能够证明这些行为由具有适当资质的人员定期审查。MAH 还必须证明定期进行人工审查的合理性，并记录由于这种审查而导致的对 AI 系统学习行为的任何变更以及变更原因。
错误的纠正 — MAH 还应该有适当的流程来纠正由缺陷或次优 AI 系统引起的具有监管影响的病例处理错误。这可能涉及提交或重新提交个例报告，重新运行信号检测过程以及重新提交定期安全更新报告和其它汇总报告。如果错误与训练数据有关，则 MAH 应具有商定的机制来解决此类问题。
文件记录和透明度 — 企业应能够提供完整和透明的文件，描述其 AI 系统的各个方面，例如，设计、系统训练、验证、系统行为审查等。
Tregunno 澄清表示，MHRA 检查员不会期望 MAH 为他们的 AI 系统提供源代码，因为“我们了解到，在这些系统的知识产权方面，行业和 AI 供应商之间存在复杂的关系。”但这不应成为 MAH 正确了解其药物警戒系统运作方式的障碍。
