一项新的共识声明“CONSORT-AI 扩展”为涉及人工智能(AI)干预措施的临床试验报告制定了规则。CONSORT-AI 全称为合并的报告试验标准-人工智能(Consolidated Standards of Reporting Trials–Artificial Intelligence)扩展是一项新的报告指南,用于评估具有 AI 成分的干预措施的临床试验。
该共识声明[1]发表在《自然·医学》上,由一个国际工作组撰写,其中包括 14 个新项目,供研究人员在报告 AI 干预措施时常规纳入其手稿中。声明呼吁研究人员报告包括 AI 的试验,全面解释算法版本、输入和输出数据、集成到试验设置中、使用者的专业知识以及根据 AI 系统的建议采取行动的协议。
工作组指出,“已经认识到最新的 AI 研究没有被充分报告,现有的报告指南并未完全涵盖 AI 系统特有的潜在偏见。人们对于评估基于或包括 AI 组件的新干预措施表示欢迎,但与此同时,也对此类试验的设计和报告存在担忧。”
清单项目涵盖了临床试验报告的大部分内容,从标题和摘要到资金披露。工作组建议研究人员在标题或摘要中注明研究干预涉及 AI 或机器学习,并指定模型的类型。他们还应在临床途径中说明 AI 干预的预期用途,包括其目的和预期使用者(是医务人员还是患者)。
研究人员还应报告与研究参与者有关的 AI 特定信息,包括参与者级别的纳入和排除标准以及输入数据。此外,他们还应描述如何将 AI 干预措施整合到试用环境中,包括任何现场或异地要求。
共识声明还包括与干预信息相关六项要求,围绕算法的版本、如何获取和选择输入数据、如何评估和处理质量差和不可用的输入数据、在处理输入数据时是否存在人机交互、干预的输入,以及 AI 干预的输出如何帮助决策等问题。
CONSORT-AI 清单中也涉及危害事项,工作组呼吁研究人员描述对性能错误进行分析的结果以及如何识别错误。共识文件还要求说明是否可以以及如何访问 AI 干预及其代码,以及是否对访问权限和重新使用有任何限制。
拥有 AI 和数据驱动药物发现经验的 Rabia Khan 表示,CONSORT-AI 声明是关于 AI 和工程团队如何在产品开发的早期生命周期中工作的行业指南。Khan 表示,“我相信这些要求是必不可少的,并为非医学学科的创新者提供了必要的框架来解决医疗挑战。提供专门针对 AI 的要求可以帮助新兴公司制定一套满足其产品商业化所需的要求,从而帮助他们清晰地计划其进入市场的战略。”
Khan 表示,根据她的经验,不同医疗系统之间不同的数据质量和结构会给大规模部署 AI 算法带来挑战。她表示,这使得共识声明将重点放在数据标准和建议上,以明确解决如何在算法核心内处理数据。她表示,展望未来,对 AI 算法的监管还应该解决数据集内的多样性和算法的潜在偏差。Khan 建议,一种解决方法是从监管机构提供综合数据集,允许企业在临床实施之前评估算法。
[1] Liu, X., Cruz Rivera, S., Moher, D. et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension. Nat Med 26, 1364–1374 (2020). https://doi.org/10.1038/s41591-020-1034-x