AI+医疗影像诊断的最新进展：多模态模型在肺部CT中的应用

肺部CT正在从“单张图像识别”走向结合三维影像、临床文本和筛查任务的多模态分析。近期研究围绕肺癌筛查、肺部疾病诊断、肺结节评估以及病灶分割和报告生成展开，说明医学AI的重点已经不只是发现一个可疑区域，而是尝试把影像观察、病史理解和诊断表达连接起来。

从肺结节识别走向多任务协同

传统肺部CT模型通常针对单一任务训练，例如检测结节、判断良恶性或完成病灶分割。多模态模型的变化在于，它可以同时处理三维影像与文本、表格等信息，并在同一框架中承担多个相关任务。针对肺癌筛查的医学多模态多任务基础模型，以及面向肺部CT的视觉基础模型，正是这一方向的代表性探索。

这种变化对肺部筛查尤其重要。一个结节是否需要重点关注，往往不只取决于影像中的形态，还与既往检查、患者情况、报告描述和随访信息有关。模型如果只看局部切片，容易把诊断过程割裂开来；如果能够结合整套CT数据与相关临床信息，则更适合承担筛查中的初步整理、风险提示和报告辅助工作。

多任务设计还可以让模型同时学习病灶定位、分割、分类和文字描述。已有研究将视觉语言模型用于肺部病灶分割及诊断报告生成，也有研究探索利用Transformer完成肺结节的人机协同评估。这些工作共同指向一个趋势：AI不再只是给出一个标签，而是逐步参与从“看哪里”到“怎么描述”的连续流程。

数据需求决定模型能否进入临床

肺部CT多模态模型首先需要稳定、可追溯的数据基础。核心数据通常包括三维CT影像、病灶位置或分割标注、诊断结论，以及与检查相关的文本和结构化信息。对于筛查任务，还需要明确哪些病例属于正常、可疑或已确诊状态，并尽量保留随访或病理结果等能够支持判断的信息。

数据质量比单纯扩大样本数量更关键。不同设备、扫描协议、层厚和重建方式可能造成影像外观差异；报告中的术语、描述习惯和标注标准也可能因机构而不同。如果这些差异没有被记录和处理，模型学到的可能是机构或设备特征，而不是肺部病灶本身。

研发团队还需要关注三维数据与文本之间的对应关系。一份报告是否确实描述了当前这次检查，一段文字是否对应某个具体病灶，都会影响跨模态训练的可靠性。对于缺少精细标注的数据，可以先用于影像与文本的整体对齐，再通过高质量标注数据完成病灶级任务的训练，但不能把弱关联数据直接当作精确诊断标签。

数据划分也应避免同一患者的不同检查同时进入训练集和测试集，否则模型可能通过记忆患者特征获得看似理想的结果。面向真实应用时，还要保留来自不同机构、不同设备和不同人群的数据，用于检验模型的迁移能力。

模型结构的三个关键点

第一是三维影像编码。肺部CT不是一组互不相关的二维图片，结节的边界、密度和空间关系需要在连续层面上理解。因此，模型需要具备处理三维体数据的能力，或通过切片特征聚合建立接近三维的表示。肺部CT视觉基础模型的研究，正是在探索如何让模型从大规模影像中学习更通用的肺部特征。

第二是视觉与语言的跨模态对齐。模型不仅要判断影像中是否存在异常，还要把影像特征与报告中的病灶描述、位置和诊断结论联系起来。一个有效的视觉语言框架，应当能够将“发现什么”“位于哪里”和“如何表述”对应起来，而不是只生成与影像大致相关的通用文字。

第三是多任务学习与人机协作。检测、分割、分类和报告生成之间存在信息联系，将它们放在同一模型或协同框架中，有助于减少各任务之间的割裂。不过，多任务并不意味着所有任务都必须由一个模块完成。更稳妥的设计是让基础模型提供共享表示，再由不同任务模块负责具体输出，并为放射科医生保留复核和修改入口。

对于临床使用，模型的解释方式同样重要。只给出风险标签，难以支持医生判断；同时显示可疑区域、分割结果、相关影像依据和生成文本，才更接近放射科工作流程。解释结果不应被视为绝对证据，而应作为医生复核时的线索。

临床验证不能只看模型分数

肺部CT模型的验证应从离线测试逐步走向真实工作流。第一步是确认数据与标注的一致性，并在独立数据上评估检测、分割、分类和报告生成等任务。对于多模态模型，还要检查它是否真正利用了文本和结构化信息，而不是仅依赖影像中的简单线索。

第二步是开展多阅片者、多病例形式的比较，观察放射科医生单独阅片与医生使用AI辅助时的差异。DeepFAN等研究采用人机协同评估肺结节的设计，体现了一个重要方向：临床价值不只在于模型自身表现，还在于它能否帮助医生更稳定地完成判断。

第三步是考察模型对不同场景的适应性，包括不同设备、扫描条件、病例构成和报告习惯。模型在单一数据集上表现良好，并不等于能够直接用于筛查。研发团队还应记录误报、漏报、无法判断和报告修改等情况，分析模型在哪些病例上容易失效。

最后需要评估安全性和流程影响。模型输出应有明确的适用范围，不能把自动生成的结果直接等同于最终诊断。对于高风险或结果不确定的病例，应设计人工复核机制，并保留输入、输出和修改记录，便于后续追踪问题。

两项更容易落地的实际效益

第一，AI可以帮助减少漏看和判断不一致。肺部筛查中，结节位置、大小和形态可能分散在多个CT层面，模型能够先标记可疑区域并提供连续切片或分割信息，帮助医生集中注意力。它不能保证消除误诊，但在规范的人机协同流程中，有机会减少因遗漏病灶或观察差异造成的诊断风险。

第二，AI可以缩短从影像整理到报告初稿的时间。模型能够将病灶定位、影像特征和既有文本信息组织成结构化提示，辅助生成报告初稿或随访对比内容。医生仍需核对影像和修改结论，但重复性的查找、整理和文字录入工作可以减少，尤其适合检查量较大的筛查场景。

这两项效益的前提都不是“模型足够大”，而是数据对应关系可靠、输出能够被医生理解，并且系统真正嵌入阅片流程。如果模型只增加额外的弹窗和复核负担，算法指标再好，也未必能带来实际改善。

从研究原型到筛查系统还要解决什么

多模态模型为肺部CT筛查带来了更完整的技术路径：用三维影像基础模型理解肺部结构，用视觉语言模块连接影像与报告，再通过多任务和人机协同完成检测、分割、分类及文本生成。但这条路径仍然需要严格的数据治理和临床验证。

对医疗AI团队而言，下一步不应只是继续增加模型复杂度，而应明确模型服务的具体环节：是优先发现可疑结节，还是辅助随访比较；是生成报告初稿，还是帮助医生整理筛查队列。对放射科而言，评价系统时也不能只看一个准确性指标，还要关注它是否减少遗漏、是否节省时间、是否容易复核，以及在不确定病例中是否能够主动提示风险。

当模型的能力边界、数据来源和人工复核责任都被清楚定义，多模态AI才更可能从实验室中的影像识别工具，转变为肺部CT筛查流程中的可靠辅助组件。