美加英三国联合发布医疗器械开发机器学习质量规范十项指导原则
|
首页 > 资讯 > 美加英三国联合发布医疗器械开发机器学习质量规范十项指导原则 出自识林
美加英三国联合发布医疗器械开发机器学习质量规范十项指导原则
笔记 2021-10-28 美国 FDA、加拿大卫生部（HC）以及英国 MHRA 共同确定了 10 项指导原则，为机器学习质量管理规范（Good Machine Learning Practice，GMLP）的制定提供指导[pdf] 人工智能和机器学习技术有可能通过从日常医疗保健产生的大量数据中获得新的重要见解来改变医疗保健水平。AI/ML 使用软件算法从实际使用中学习，并在某些情况下可能会使用这些信息来提高产品的性能。但是由于它们的复杂性以及开发的迭代和数据驱动性质，也提出了独特的考虑。 这 10 项指导原则旨在为制定解决这些产品独特性质的 GMLP 奠定基础，这 10 项指导原则确定了国际医疗器械监管机构论坛（IMDRF）、国际标准组织和其他合作机构可以致力于推进 GMLP 的领域。合作领域包括研究、创建教育工具和资源、国际协调和共识标准，这些可能有助于为监管政策和监管指南提供信息。 监管机构设想这些指导原则可用于：
随着 AI/ML 医疗器械领域的发展，GMLP 最佳实践和共识标准也必须随之发展。监管机构确立的 10 项指导原则包括： 1. 在整个产品生命周期中利用多学科专业知识：深入理解模型与临床工作流程的预期集成，以及预期获益和相关患者风险，可以帮助确保支持 ML 的医疗器械安全有效，并解决在器械的生命周期内具有临床意义的需求。 2. 实施良好的软件工程和安全实践：模型设计的实施注重“基础”：良好的软件工程实践、数据质量保证、数据管理和强大的网络安全实践。这些实践包括有条不紊的风险管理和设计过程，这样的过程可以适当地捕获和沟通设计、实施和风险管理决策和理由，并确保数据的真实性和可靠性。 3. 临床研究参与者和数据集对目标患者群体具有代表性：数据收集方案应确保目标患者群体的相关特征（例如，年龄、性别认同、性别、种族和民族），使用，以及测量输入在临床研究、训练和测试数据集中的足够大小的样本中得到充分体现，从而结果可以合理地推广到利益相关人群。这对于管理偏差、在目标患者群体中促进适当和可推广的性能、评估可用性以及确定模型可能性能不佳的情况非常重要。 4. 训练数据集独立于测试集：选择并维护训练数据集和测试数据集以适当地相互独立。所有潜在的依赖来源，包括患者、数据采集和现场因素，都应予以考虑并解决以确保鼓励性。 5. 选定的参照数据集基于最佳可用方法：用于开发参照数据集（即参照标准）的公认最佳可用方法可确保收集临床相关和充分标准的数据，并理解参照的局限性。如果可用，在模型开发和测试中使用公认的参照数据集，以促进和证明模型在预期患者人群中的稳健性和普遍性。 6. 模型设计适合可用数据并反映器械的预期用途：模型设计适合可用数据并支持对已知风险的主动降低，如过度拟合、性能下降和安全风险。与产品相关的临床获益和风险已得到充分理解，用于推导出具有临床意义的测试性能目标，并支持产品可以安全有效地实现其预期用途。考虑因素包括器械输入、输出、预期患者人群和临床使用条件中的全局和局部性能和不确定性/可变性的影响。 7. 重点放在人-AI 团队的性能上：在模型有“人参与循环”的情况下，人为因素的考虑以及模型输出人类可解释性需得到解决，重点是人-AI 团队的性能，而不仅仅是孤立的模型性能。 8. 测试在临床相关条件下展示器械性能：开发和执行具有统计意义的测试计划，以独立于训练数据集生成临床相关的器械性能信息。考虑因素包括预期的患者人群、重要的亚组、临床环境和人-AI 团队的使用、测量输入和潜在的混杂因素。 9. 为使用者提供清晰的基本信息：使用者可以随时访问适合目标受众（例如，医疗保健提供者或患者）的清晰、上下文相关的信息，包括：产品的预期用途和使用适应症、模型对于适当子集的性能、用于训练和测试模型的数据特征、可接受的输入、已知限制、用户界面解释以及模型的临床工作流程集成。使用者还可以通过真实世界的性能监控了解器械的修改和更新，这也是做出决策的基础（可用时）以及向开发人员传达产品问题的一种方式。 10. 监控部署模型的性能并管理再训练风险：部署的模型能够在“真实世界”使用中受到监控，重点是保持或提高安全性和性能。此外，当模型在部署后定期或持续训练时，有适当的控制措施来管理可能影响由人-AI 团队使用的模型安全性和性能的过度拟合、意外偏差或模型退化（例如，数据集漂移）的风险。 作者：识林-苜蓿 |
。这些指导原则将有助于推广使用人工智能和机器学习（AI/ML）的安全、有效和高质量的医疗器械。