使用深度学习基于医学超声图像诊断甲状腺结节

甲状腺上的小肿块或增生物通常是良性的，不会引起任何症状。不过，小部分甲状腺结节是恶性的。医生使用高分辨率超声检查¹ 来诊断甲状腺结节，随后对表现出常见恶性肿瘤迹象的结节进行活检。这些迹象包括实性、边缘不规则、微钙化以及呈现高大于宽的形状（图 1）。

虽然恶性结节的特征已经明确，但根据超声图像诊断恶性肿瘤仍具挑战性。诊断的准确度取决于放射科医生的经验，不同放射科医生评估同一结节可能会得出不同诊断结果。

我们在延世大学和西富兰斯医院（韩国首尔）的研究团队使用了 MATLAB^® 设计和训练卷积神经网络 (CNN)，以识别恶性和良性甲状腺结节。诊断测试表明，这些 CNN 的表现和专业放射科医生一样出色。我们根据多家医院的数据集验证 CNN，对它们打包时添加用户界面，并将其部署为 Web 应用。该应用被医学生用作其培训的一部分，也被经验丰富的放射科医生用来提供客观的第二诊断意见。

以前的机器学习和深度学习方法

在探索使用深度学习诊断甲状腺结节之前，我们尝试了传统的机器学习模型。我们执行了特征工程，并应用了 MATLAB 中提供的各种机器学习方法，包括支持向量机 (SVM) 和随机森林分类。这些模型的表现不俗，与有着 10 到 15 年丰富经验的放射科医生相差无几。我们的目标是开发一种软件，不仅表现得像经验丰富的放射科医生一样出众，而且始终提供一致且客观的结果，因此我们开始了评估深度学习方法。

使用深度学习进行医学成像分类的困难之一在于缺乏可用数据。包括图像在内的医疗数据受到诸多隐私法规的保护，因此很难组合足够大的数据集来训练 CNN。为了应对这一挑战，我们在 MATLAB 中使用了 17 个预训练网络，包括 AlexNet、SqueezeNet、ResNet 和 Inception。

我们看到每个预训练 CNN 的图像分类方式略有不同，并且很快意识到网络组合的表现会优于任何单独的网络。然而，事实证明，组合网络并非易事，因为我们最初使用了各种编程语言和环境来创建这些网络。使用 MATLAB 后，我们就拥有了单一环境来执行以下操作：预处理图像；设计、训练和组合 CNN；分析和可视化结果；以及将 CNN 部署为 Web App。

设计、训练和验证 CNN

开始在 MATLAB 中训练 CNN 之前，我们对来自韩国四家不同医院的超声图像执行了几个预处理步骤。例如，我们执行了归一化，以确保所有灰度图像的像素值都介于 0 到 255 之间（图 2）。对于每个图像，我们都提取了以结节为中心的感兴趣区域。我们对数百个良性结节的图像进行了左右镜像，以使训练数据集中的良性和恶性结节数量相等。

我们基于包含 14,000 多个图像的数据集训练了 17 个不同的预训练网络，这些图像得到了西富兰斯医院机构审查委员会 (IRB) 的批准：4-2019-0163。基于每个预训练网络的性能，我们选择了包括 AlexNet、GoogLeNet、SqueezeNet 和 InceptionResNetV2 在内的部分预训练网络，用于分类集成。

我们试验了两种集成创建方法，一种是组合特征的方法，而另一种是组合概率的方法。对于基于特征的组合，我们使用了每个 CNN 中最后一层全连接层的输出作为特征来训练 SVM 或随机森林分类器。对于基于概率的组合，我们计算了每个 CNN 产生的分类概率的加权平均值。例如，如果一个 CNN 将结节归为良性类别的概率为 55%，而另一个 CNN 将该结节归为恶性类别的概率为 90%，则根据权重，集成有可能将该结节归为恶性类别。

为了验证集成的诊断性能，我们生成了受试者工作特性 (ROC) 曲线，并将每个集成的曲线下方面积 (AUC) 与放射科专家的 AUC 进行了比较。我们对西富兰斯医院（隶属于延世大学医疗院）的内部数据集和其他三家医院的外部数据进行了上述比较。对于内部测试集，AlexNet-GoogLeNet-SqueezeNet-InceptionResNetv2 集成的 AUC 明显大于放射科医生的 AUC。对于外部测试集，两者的 AUC 大致相同（图 3）。

部署 SERA Web App

为了让延世大学合作的医院可以使用我们的 CNN，我们创建了 SERA 这款 Web App，并将其部署在了 MATLAB Web App Server™ 上。SERA App 可通过 Web 浏览器访问，但目前仅用于学术目的。医生可以在诊断过程中使用 SERA 来获得第二意见。该 App 还用于对从业一两年的医生进行培训。

它具有简洁的用户界面，使放射科医生能够对新捕获的超声图像运行 SERA（图 4）。在图像加载后，CNN 会诊断图像中的甲状腺结节，而该 App 会显示分类器准确度分数，以及结节为恶性的概率。基于这种概率，该 App 可能会建议进行细针穿刺 (FNA) 活检以确认诊断。

CNN 的可解释性和可扩展性

我们的团队目前正在研究 CNN 的可解释性，也就是说，在对甲状腺结节进行分类时为何以及如何做出决策。为此，我们将研究 CNN 中的特定层，特别是卷积层中的滤波器，以了解网络使用哪些图像特征来做出决策。我们计划拜见最有经验的放射科医生，以确定训练有素的人和经过训练的 CNN 在甲状腺结节诊断中使用相同图像特征的程度。

我们还计划开发基于 CNN 的应用，用于诊断乳腺癌和皮肤癌。

¹ 超声检查图像的分辨率通常较低。不过，与其他医学成像工具相比，高分辨率超声检查具有非侵入性和伤害较少的特性，使得这项技术甚至已经广泛应用于孕妇和婴幼儿检查。

² Koh, Jieun, Eunjung Lee, Kyunghwa Han, Eun‑Kyung Kim, Eun Ju Son, Yu‑Mee Sohn, Mirinae Seo, Mi‑ri Kwon, Jung Hyun Yoon, Jin Hwa Lee, Young Mi Park, Sungwon Kim, Jung Hee Shin, and Jin Young Kwak.“Diagnosis of thyroid nodules on ultrasonography by a deep convolutional neural network.”Scientific Reports 10, no. 1 (September 2020):15245.