使用人工智能驱动的显微镜加速科学发现
用户友好的图像处理以及从海量光片数据集获得的有用信息
光学显微镜在检查活体和固定生物样本方面的作用日益重要。光片技术支持对整个横截面进行单帧成像，这使得科学家能够快速捕捉活细胞和生物体的显微图像与视频。与其他光学成像技术相比，该技术可以减少激光对样本的光损伤，从而实现对敏感样本（如细胞、胚胎和组织）的长期成像。三维体可通过快速连续扫描获取。
研究人员越来越多地采用这种先进的成像技术来可视化细胞内错综复杂的结构，并追踪隐藏在胚胎起源中的发育秘密。但是，这些显微镜会生成 TB 级的海量复杂图像，使得开展深入探究工作的科学家在进行图像分析时不堪重负。
这些问题为与 Abhishek Kumar 博士合作开发新工具的团队提供了指导。Abhishek Kumar 是位于马萨诸塞州伍兹霍尔的海洋生物实验室 (MBL) 的研究员兼陈-扎克伯格计划成像科学家。他们正在使用 MATLAB® 构建这一新工具。
该项目由 MBL 研究助理 William Ramos 领导，并得到了 MBL 成像专家 Anthony Mautino 的帮助，遵循端到端的光片显微镜工作流。在从显微镜控制和图像采集到重建、可视化、分析和量化的整个过程中，该工具可帮助研究人员专注于图像处理，而不要求他们学习编码。
海洋生物实验室的定制光片显微镜。（图片所有权：Emily Greenhalgh，海洋生物实验室）
“MATLAB 无疑是我们的理想选择，因为图像是以矩阵和数组的形式存储和操作的，无论是用于我们的实验室还是传播，MATLAB 都是编码和打包这些工具最干净、最高效的方式，”Kumar 博士说道。“而且，我们深知，每一次新版本的发布，都伴随着出色的支持服务，以及严格的质量保证。”
自动执行算法
这款光片显微镜工具包含多个内置于 MATLAB App 设计工具中的用户界面，提供各种图像预处理、分割和修改选项。通常，随着生物学家带项目加入 Kumar 博士的团队，他们的样本面临着全新的图像处理要求。这使得该团队需要弄清楚哪种方法最有效，以及选择什么算法。这种手动试错过程需要几小时的时间，而此工具大大加快了速度。
“有了这样的工具，您只需按一下按钮，就可以立即得到测试结果，从而节省大量时间。”
“William Ramos 计划将我们通常在这些项目中涉及的所有内容都整合到一个工具中，”Mautino 说道。“使用这样的工具，您只需按一下按钮，就可以立即得到测试结果，从而节省大量时间。”
在采用各种图像变换方法之前，Ramos 还使用 Image Processing Toolbox™ 执行了各种预处理步骤。在此过程中，他结合使用了经典的图像处理算法和通过 Deep Learning Toolbox™ 训练的卷积神经网络 (CNN)。
“一旦他有了一系列适用于特定项目数据的设置，我们就可以根据这些设置进行批处理，”Mautino 说道。
由于一些项目中光片显微镜每 15 分钟或更长时间拍摄一次图像，因此，研究人员要跟踪的样本部分位移很大，可能会超出视野。该实验室所开发的工具可以提供实时反馈并帮助定位样本，使其不会漂移出视野。
光片显微镜工具还可以帮助 CNN 识别图像中研究人员不想研究的部分，而该部分恰好又遮挡了他们想要分析的部分。例如，当研究人员研究苍蝇卵巢中的细胞骨架时，卵母细胞可能会在可视化过程中遮挡其他细胞的重要特征。研究人员通常需要从每幅图像中手动删除卵母细胞。Ramos 可以使用该工具在几帧中选择特定区域，然后训练神经网络将其从三维体数据时间序列的其余部分中删除。
Ramos 预见，光片显微镜工具也有助于数据缩减。为了实现更快的计算处理和分析，研究人员可将整个原始数据集缩减到相关的感兴趣区域。这涉及检测样本运动，将数据移至中心位置，并裁剪掉无信息的背景区域。这种数据缩减方法会丢弃多余的像素，从而使计算资源得到更高效的利用。
“此工具的数据缩减功能非常有用，特别是在我们每天都要收集数 TB 数据的情况下更是如此，”Mautino 说道。
Ramos 还构建了自定义工具，用于对齐多通道数据，修复坏像素等伪影，并在采集过程中随时可视化和过滤数据。根据具体项目，他还使用了 Optimization Toolbox™、Image Acquisition Toolbox™ 以及 Statistics and Machine Learning Toolbox™。
光片显微镜工具的前面板。（图片所有权：海洋生物实验室）
“在这方面，我们的应用高度模块化，”Kumar 博士说道。“它具有诸多功能，其中许多工具都很常见且使用频繁。您随后可以添加更多独特的步骤，例如特定的去噪模型或神经网络，具体视研究人员想要得到的结果而定。”
蝴蝶卵巢成像
这种端到端的工作流已取得成功，特别是在我们的协作者 Nipam Patel 博士和他的实验室成员研究蝴蝶卵巢如何发育的过程中显示出效果。蝴蝶无比娇弱，其卵巢更是如此。研究人员使用的光片显微镜设置经过精心优化，可以在 40 小时的成像过程中最大限度地减少样本的光损伤。通常，仅在一个时间点就能产生 0.5 GB 以上的数据。除了疲于应对大量数据外，生物学家还需要消除图像中的噪声，因为成像条件使得图像中的噪声比平时要多。随着胚胎的发育和变化，图像分割也必须有所改变。
左图：单视图光片显微镜所拍摄的蝴蝶卵巢三维图像堆叠的最大图像强度投影。右图：原始图像堆叠经过计算清理的版本的最大图像强度投影。（图片所有权：Kyle Demarr 和 Sophia Kelly，海洋生物实验室）
在 Ramos 手动分割了 162 幅图像后，该工具在几分钟内即处理了其余的 4,000 幅图像。过去，仅手动分割就需要长达 10 个小时，而今，Ramos 的流程只需不到半个小时就完成了分割。
Ramos 使用了另一个经过训练的 CNN 来识别和分割数据中的特定特征，例如删除遮挡住部分图像的卵黄。在 Ramos 手动分割了 162 幅图像后，该工具在几分钟内即处理了其余的 4,000 幅图像。据 Ramos 说，过去，仅手动分割就需要长达 10 个小时，而今，他的流程不到半小时就完成了分割。
“我们的协作者对处理时间和图像质量非常满意，”Ramos 说道。
使用端到端 MATLAB 的优势
对该团队而言，从显微镜使用的软件到可视化，一切都在 MATLAB 中构建，因而图像处理和分析功能比专有显微镜软件更灵活。
“我们之所以使用 MATLAB，原因是它可与硬件对接，并且具有非常强大的数学功能，”Mautino 说道。
“借助光片显微镜工具，即使没有编程经验和相关知识的人，也可以从所有这些复杂的工具中受益。”
“然后，你可以想象一下，我们的许多显微镜由不同的硬件组成，每个硬件都需要自己的代码，”Mautino 说道。“这本身就会成为一项长期的工程。在这种情况下，MATLAB 便能大显身手，因为那些制造商已在使用这款工具，他们还为我们开发了这些驱动程序。”他们使用的一些相机没有官方支持的用 Python 编写的控制软件。
使用光片显微镜工具的目的是，让尽可能多没有编程专业知识的研究人员能够使用高级分析方法。Kumar 博士称，在许多不同生物学科中，都可以应用此类图像分析工具。
这些工具帮助协作者节省了数天手动处理或等待其他研究人员处理图像的时间。这种简易性也为高中生等非专业人士大开方便之门。Ramos 表示，他们将很快在 GitHub® 上通过共享用户界面来推广应用，获得相关的反馈，并推动生物图像分析工具的发展。
“如今，没有先进的图像分析和图像处理技术，完成成像项目简直难以想象，”Kumar 博士说道。“借助光片显微镜分析工具，即使没有编码经验和相关知识的人，也可以从所有这些复杂的工具中受益。因此，让所有这些工具易于获得和使用至关重要。”
