开发用于辅助病理诊断的深度学习模型

作为第二常见的男性疾病，前列腺癌通常通过检查组织样本来诊断。该过程传统上由专业病理学家使用显微镜进行，劳动强度大且耗时。此外，在许多国家，能够进行此类检查的医疗专业人员（如病理学家）的数量有限，尤其是在临床工作量很大的情况下。这可能会导致需要分析的样本积压并延迟开始治疗。

部分由于手动分析样本的局限性，使用人工智能和深度学习辅助前列腺和其他癌症病理诊断的研究迅速扩展。然而，在开发、优化、验证和部署深度学习模型用于临床应用之前，需要清除一些技术障碍。例如，据估计，大约 15% 的数字病理图像存在与焦点、饱和度和伪影等相关的质量问题。而且，图像质量无法用肉眼进行量化评估。当前使用的全切片图像 (WSI) 扫描仪会产生非常大的数据集，这可能会使 85,000×40,000 像素或更高分辨率图像的处理变得复杂。此外，与手动病理诊断类似，注释图像的过程需要经验丰富的病理学家投入大量时间。这个过程使得组建高质量的标记图像数据库来训练准确的诊断模型变得非常困难。

A*STAR 生物信息学研究所 (BII) 的计算数字病理学实验室 (CDPL) 开发了一个基于云的自动化平台，解决了与深度学习辅助病理诊断相关的许多挑战，同时减轻了病理学家对图像标记和临床诊断的负担（图 1）。此平台包括 A!MagQC，一个在 MATLAB^® 中使用 Deep Learning Toolbox™ 和 Image Processing Toolbox™ 开发的全自动图像质量评估工具。该平台还包括一个经过训练以识别格里森模式的深度学习分类模型。在与本地和海外病理学家进行的实验中，该平台与手动注释和传统显微镜检查相比，将图像标记时间减少了 60％，帮助病理学家以快 43％ 的速度分析图像，同时保持与传统显微镜检查相同的准确度。

图像质量评估

在数字病理学中，图像质量问题大致可以分为两类：组织样本准备问题和扫描问题（图 2）。组织撕裂、褶皱、气泡、染色过度和染色不足属于第一类；当检测到这些问题并影响诊断时，就需要准备新的样本。另一方面，当检测到图像对比度、饱和度和聚焦问题时，只需重新扫描现有样本即可，而无需重新对其进行切割。

无论分析是由病理学家还是通过深度学习模型进行的，上述任一常见问题都可能会产生不利影响。因此，A*STAR 的 BII CDPL 团队在 A!MagQC 中开发了图像处理算法，以自动检测影响图像质量的主要因素。该团队之所以选择 MATLAB，是因为它提供了专门的工具箱。例如，当图像太大而无法加载到内存中时，Image Processing Toolbox 中的 blockproc 函数可以将每个图像分成指定大小的块，每次处理一个块，然后将结果组合成输出图像。

该团队还使用 MATLAB 工具构建 A!MagQC 用户界面，并将 MATLAB 代码编译为独立的 A!MagQC 可执行文件以供分发。

利用开发的 QC 解决方案，团队量化了图像质量，以识别 WSI 的颜色、亮度和对比度的差异。此项练习确保随后训练的深度学习模型能够为当今使用的各种扫描仪产生准确的诊断结果。

模型训练和测试

在分析样本时，病理学家应用格里森分级系统（专用于评估前列腺癌级别）根据其外观进行评分。除了正常或良性组织外，样本区域可能包括基质（结缔组织）或指定格里森评分为 1 至 5 的组织，其中 5 为最恶性（图 3）。在团队开始训练 AI 诊断模型对组织样本进行分类之前，他们需要组装一组标有这些类别的图像块数据集。该任务是在病理学家的帮助下使用 A!HistoClouds 完成的，该系统处理已经使用 A!MagQC 检查过质量的图像。一旦团队有了一组基本的标记图像块，他们就会执行数据增强，通过垂直或水平反射单个图像并将其旋转随机或目标度数来扩展训练集。

该团队通过 MATLAB 和 Deep Learning Toolbox，使用 ResNet-50、VGG-16 和 NasNet-Mobile 预训练网络创建了深度学习模型结构，用加权分类层取代了常规分类层（图 4）。该团队还利用 multi-gpu 选择从单个 GPU 扩展到多个 GPU 以进行深度学习模型训练。

该模型通过迭代过程进行训练和应用。基于手动标注的图像进行初始训练是第一阶段，下一个是半自动化阶段。在该阶段中，病理学家要审核并修正由训练模型生成的预测（图 5）。第二阶段不断重复，直到模型可供医疗专业人员使用，以协助临床诊断。步骤 (a) 需要初级和高级病理学家进行初步的手动注释。注释是使用 A!HistoClouds 完成的，它们被提取为用于训练深度学习模型的补丁。然后，该模型将输出预测的兴趣区域 (ROI) 来协助病理学家，因此称为半自动注释。在步骤 (b) 中，模型将进行增量学习，其中病理学家审查和纠正 AI 预测的 ROI，将 ROI 提取为补丁，然后模型从这些新数据中学习。重复步骤 (b)，直到模型性能实现收敛，其中在步骤 (c) 中，将部署模型以实现全自动注释/全自动诊断，从而促进病理学家的决策。

后续步骤

CDPL 已将其深度学习辅助病理诊断平台部署到全球云平台上，为不同国家的病理学家团队提供轻松访问。A*STAR 的 BII 目前正致力于验证和优化其深度学习模型，以适应更多临床场景，包括不同的组织厚度、染色机制和图像扫描仪。最后，BII 正在探索将相同的图像质量评估和深度学习工作流程从前列腺癌扩展到其他类型癌症的机会。

BII 的 CDPL 还组织了 2022 年格里森自动分级挑战赛 (AGGC 2022)，已被2022年国际医学图像计算和计算机辅助干预会议接受。AGGC 2022 专注于应对前列腺癌格里森分级、数字病理学利用和深度学习方法方面的挑战。该挑战赛旨在开发高精度的自动化算法，用于真实的 H&E 染色前列腺组织病理学图像。值得注意的是，这是数字病理学领域的首个挑战，旨在研究图像变化并构建可通用的 AI 诊断模型。

虽然该挑战赛已结束，但完整的数据集现在可供后续研究使用。

致谢

A*STAR 的 BII 谨感谢国立大学医院 (NUH) 的同事，特别是 Tan Soo Yong 教授、Susan Hue Swee Shan 博士、Lau Kah Weng 博士和 Tan Char Loo 博士等的合作。NUH 被公认为本研究中提供数据和样本的来源。该团队感谢其他临床和工业合作伙伴的支持。