第 6 章：

开发可认证的人工智能模型

近年来，首批基于人工智能的医疗设备已经投放市场，堪称医疗行业创新者使用专有黑盒算法诊断或治疗疾病的一个里程碑。

开发能够通过监管机构认证的基于人工智能的模型，是医疗设备开发商面临的一项重大挑战。最近获得美国 FDA 等监管机构批准的设备，对患者而言属于低风险类型。它们已获得作为低风险设备的上市前批准或 De Novo 分类。

监管机构尚未批准经确定会给患者带来高潜在风险的设备，比如假阳性可能导致手术高风险的诊断算法。批准此类算法可能需要额外的控制措施。

借助 MATLAB 和 Simulink，不仅可以开发人工智能模型，而且还可以收集确保软件质量所需的数据。此外：

• MATLAB 有助于构建可解释性和可诠释性人工智能模型。
• 在模型开发阶段，您还可以按照正式流程来验证模型是否符合 IEC 62304 指导原则，这是认证基于人工智能的软件即医疗设备 (SaMD) 的必要条件。

可诠释性和可解释性

可诠释性和可解释性密切相关。可诠释性常用于经典机器学习环境，而“AI 可解释性”多用于深度神经网络环境。

无论是可诠释性还是可解释性，均指机器学习算法可以被人类所理解的程度。机器学习模型通常称为“黑盒”，因为它们对知识的表示并不直观，决策过程也不透明。因此，通常很难理解它们的工作方式。

可诠释性方法通过揭示各种特征对预测所做（未做）的贡献，帮助阐明机器学习模型如何做出预测。可诠释性方法有助于：

• 验证模型是否使用的是合适的预测证据。
• 在模型中找到训练期间不明显的偏差。

一些机器学习模型，如线性回归、决策树和广义加性模型，本身便具有可诠释性。不过，可诠释性往往以牺牲性能和准确度为代价。

美国 FDA、加拿大卫生部和英国药品和健康产品管理局 (MHRA) 针对医疗设备开发联合发布的机器学习质量管理规范文档中强调指出可诠释性是标准指导原则 [6]。利用 MATLAB 进行机器学习和深度学习，可以通过多种方法为各种模型生成成功的可诠释性结果。示例包括：

• 与模型无关的局部可解释性解释 (LIME)
• 部分依赖图 (PDP)
• 个体条件期望 (ICE) 图
• 沙普利值
• 类激活映射 (CAM)
• 梯度加权类激活映射 (Grad-CAM)
• 遮挡敏感度

可诠释性和可解释性是理解人工智能模型的第一步。但是，当您进行到工作流的后面步骤时，您可能还希望确保以稳健的方式构建模型。神经网络可能容易受到一种名为对抗样本的现象的影响。在这种情况下，即使对输入进行微小的更改（通常人类无法察觉），也可能会导致输入被错误分类。您可以使用 Deep Learning Toolbox 验证库来验证深度学习网络是否能够稳健地应对对抗样本，并针对一组输入边界计算输出边界。

模型的验证和部署

医疗设备制造商应当与临床研究人员一起验证其基于人工智能的模型。《机器学习质量管理规范》文档还强调了通过执行包括预期患者群体在内的临床研究来验证基于人工智能的模型的重要性 [6]。

借助 MATLAB，您可以与临床医生或医院共享基于人工智能的应用来进行验证。MATLAB 提供了创建独立应用的选项，这些应用可以共享使用，为最终用户单独安装，也可以托管到 Web 服务器上，供多个用户通过 Web 浏览器访问。

MATLAB 还支持将人工智能应用部署到生产服务器以快速处理并发请求，以及将其部署到并行服务器以批量处理大量患者数据。此外，MATLAB 还提供了用于生成自包含、可部署的 C/C++ 算法代码的选项，这些代码可以轻松地独立部署，也可以与现有的临床应用集成以执行验证研究。

认证工作流 (IEC 62304)

MathWorks 让您能够轻松地遵循 IEC 62304 指导原则开发软件即医疗设备。MATLAB 工作流将验证和确认纳入了软件开发工作流。因此，软件在集成到医疗设备之前已经过全面测试和验证。

MATLAB 还提供诸多功能，用于实现详细软件开发规划、软件需求分析、软件架构设计、软件详细设计、软件单元实现和测试、软件集成和测试以及软件系统测试，从而将软件开发工作流作为医疗设备开发工作流的一部分来予以支持。此外，MATLAB 和 Simulink 还支持对受影响的软件项进行仿真，从而帮助您评估建议的软件更改所带来的影响。

MATLAB 将针对软件开发和软件维护生成符合 IEC 62304 标准要求的大多数合规文档。您可以阅读为医疗设备开发符合 IEC 62304 标准的嵌入式软件白皮书，了解有关在 MATLAB 和 Simulink 中遵循 IEC 62304 工作流的更多信息。

Khwaja 获得 IEC 62304 认证

挑战

心电图 (ECG) 数据分析对于心脏病的识别和治疗至关重要。

结果

借助 Simulink，该团队通过遵循 IEC Certification Kit 中的参考工作流，验证和确认了模型及自动生成的代码，这大大加快了开发速度，使得开发时间相比传统方法缩短了 40%。他们还通过 TÜV 南德加快了 ISO^® 13485 和 IEC 62304 的认证和审核。