毫无疑问，乳腺癌在女性患者中的发病率最高。而且，在六大癌症中，它是唯一一种在过去20年中呈上升趋势的癌症。

如果及早发现和治疗乳腺癌，存活的机会会更高。然而，在第 3 阶段后，存活率急剧下降至 75% 以下，这意味着通过定期体检进行早期发现对于降低患者死亡率至关重要。最近，POSTECH 的一个研究团队开发了一种用于超声检查的 AI 网络系统，可准确检测和诊断乳腺癌。

由 Chulhong Kim 教授(融合 IT 工程系、电气工程系和机械工程系)以及 Sampa Misra 和 Chiho Yoon(电气工程系)领导的 POSTECH 研究团队开发了一种深度学习-基于多模态融合网络，使用 B 模式和应变弹性成像超声图像对乳腺癌进行分割和分类。该研究的结果发表在《生物工程与转化医学》上。

超声检查是评估乳腺病变的关键医学成像方式之一。为了区分良性和恶性病变，计算机辅助诊断 (CAD) 系统通过自动分割和识别病变特征为放射科医生提供了很大的帮助。

在这里，该团队提出了基于深度学习 (DL) 的方法来分割病变，然后使用 B 模式和应变弹性成像(SE 模式)图像将它们分类为良性或恶性。首先，该团队构建了一个“加权多模态 U-Net (W-MM-U-Net) 模型”，其中使用加权跳跃连接方法为不同的成像模式分配最佳权重以分割病灶。

此外，他们还针对裁剪后的 B 型和 SE 型超声 (US) 病变图像提出了“多模式融合框架 (MFF)”，以对良性和恶性病变进行分类。

MFF 由集成特征网络 (IFN) 和决策网络 (DN) 组成。与最近的其他融合方法不同，所提出的 MFF 方法可以同时从使用 B 模式和 SE 模式 US 图像训练的卷积神经网络(CNN) 中学习互补信息。CNN 的特征使用多模态 EmbraceNet 模型进行集成，而 DN 使用这些特征对图像进行分类。