分享一篇有我参与的 ACM Multimedia 2026（ACM MM 2026） 的文章 LungCURE: Benchmarking Multimodal Real-World Clinical Reasoning for Precision Lung Cancer Diagnosis and Treatment。

重要说明：
本文是对论文的技术解读，不构成诊断或治疗建议。论文中的系统属于研究原型，不能替代肿瘤科医生的判断。

论文原文 项目主页 代码仓库 数据集

一句话概括

LungCURE 关注的并不是“模型能不能读懂一份肺癌报告”这么简单的问题，而是更接近真实临床流程的挑战：模型能否从不完整、异构的多模态病历中完成 TNM分期，再依据临床指南给出 治疗建议，并在整个链条中避免早期错误一路传递到最终决策。

论文包含两项相互配套的工作：

  1. LungCURE Benchmark：由 1,000 个真实、经医生标注的肺癌病例构成，评估 TNM 分期、治疗推荐和端到端临床决策支持。
  2. LCAgent：一个知识引导的多智能体框架，通过拆分任务、确定性规则聚合和指南路由，减少跨阶段的级联推理错误。

LCAgent总体框架与研究动机

图源：论文 Figure 2。

为什么肺癌临床推理很难

肺癌精准治疗不是一次单独的分类。模型首先要从影像、病理、病历和基因检测中找到关键证据，判断原发肿瘤、淋巴结和远处转移情况；然后还要结合组织学类型、驱动基因、PD-L1、体能状态和既往治疗等变量，选择对应的治疗路径。

这里最危险的是级联错误：如果 TNM 分期错误，后续可能选择错误的一线方案，甚至颠倒治疗顺序。因此，只评估最终文本“像不像医生写的”是不够的，还要分别观察各阶段的正确性和阶段之间的信息传递。

论文将一名患者的多模态输入统一写成：

X={Xm∣m∈M},M⊆{C,I,P,S},\mathbb{X}=\{X_m\mid m\in\mathcal{M}\},\qquad \mathcal{M}\subseteq\{C,I,P,S\},

其中 CC、II、PP、SS 分别表示临床记录、影像报告、病理报告和补充临床材料。真实病例不一定拥有全部模态，所以任务允许输入缺失。

LungCURE 定义了哪三类任务

LungCURE三类任务概览

图源：论文 Figure 3。

输入患者的多模态病例 X\mathbb{X}，预测完整 TNM 分期：

Y^TNM=arg⁡max⁡YPr⁡(Y∣X).\hat{Y}_{\mathrm{TNM}}=\arg\max_Y \Pr(Y\mid\mathbb{X}).

只有 T、N、M 三项同时正确，该病例才计为分期正确。这比逐项平均准确率严格得多。

输入病例以及医生标注的真实 TNM 分期 YTNM∗Y^*_{\mathrm{TNM}}，生成治疗建议：

R^t=arg⁡max⁡RPr⁡(R∣X,YTNM∗).\hat{R}_t=\arg\max_R \Pr(R\mid\mathbb{X},Y^*_{\mathrm{TNM}}).

因为正确分期已经给定，这个任务主要考察模型能否根据患者特征和指南完成治疗推理。

只提供原始病例，不提供人工分期，要求模型直接输出完整临床决策：

R^e=arg⁡max⁡RPr⁡(R∣X).\hat{R}_e=\arg\max_R \Pr(R\mid\mathbb{X}).

它最接近真实部署，也最容易暴露“分期错误 →\rightarrow 治疗错误”的传播效应。

Task 2 与 Task 3 的性能差距很重要：前者隔离了治疗推荐能力，后者同时包含分期与治疗。两者对比后，可以估计上游分期错误对下游决策造成了多大影响。

数据集是怎样构建的

LungCURE数据构建流程

图源：论文 Figure 4。

作者收集了 2019—2025 年间的 1,000 个肺癌病例，覆盖腺癌、鳞癌、小细胞肺癌等主要病理类型以及 I—IV 期。病例材料包括：

  • CT、PET-CT 等影像报告；
  • 病理检查与活检报告；
  • 病史、ECOG 体能状态和实验室检查等临床记录；
  • 在可获得时加入驱动突变和基因组检测结果。

所有材料先进行脱敏，再按患者整合为病例级 PDF；数据同时提供中文、英文以及图像 PDF、OCR 文本两类输入形式。公开数据卡将 LungCURE 定位为仅测试基准，即 1,000 个病例全部用于评测，而不是模型训练。

两阶段专家标注

  1. TNM 标注：胸部肿瘤方向的临床医生分别记录 T、N、M 的结论、证据、不确定项和病例难度，再生成包含最终分期及推理依据的简化金标准。
  2. 治疗方案标注：资深医生结合 TNM、组织学类型、驱动基因、PD-L1、体能状态与治疗史，依据 NCCN 和 CSCO 指南形成参考方案。

标注完成后，独立质控人员检查完整性、证据一致性和不确定项；有歧义的样本会返回原标注者复核。

评估指标

任务 指标 关注点
TNM 分期 Accuracy T、N、M 必须全部与金标准一致
TNM 分期 Reasoning Quality（RQ） 由评判模型分别对 T、N、M 和整体推理按 1—5 分评分后取平均
治疗推荐 Precision 治疗策略、关键药物与临床路径和医生方案的对齐程度
治疗推荐 BERT-F1 生成推理与医生参考推理的语义相似度

Precision 和 RQ 中包含 LLM-as-a-Judge。它能处理开放式治疗文本，但也会把评判模型的偏差带入结果。因此，这些分数适合做受控比较，不能直接等同于真实临床有效性或安全性。

LCAgent：把自由生成改造成受约束工作流

LCAgent 的核心不是训练一个新的医疗大模型，而是把一个“大提示词端到端生成”的问题，改写成有明确边界的有向无环图：

T∗=ΨCDSS(Φstage(Mpercept(R)),G).\mathcal{T}^{*} =\Psi_{\mathrm{CDSS}} \left(\Phi_{\mathrm{stage}}\left(\mathcal{M}_{\mathrm{percept}}(\mathcal{R})\right),\mathcal{G}\right).

其中 Mpercept\mathcal{M}_{\mathrm{percept}} 负责从病例中提取语义，Φstage\Phi_{\mathrm{stage}} 用符号规则完成分期聚合，ΨCDSS\Psi_{\mathrm{CDSS}} 再根据具体场景路由到治疗专家智能体。

第一阶段：解耦 TNM 分期

通用模型容易把不同解剖维度的证据混在一起，例如把远处转移证据误用于 T 分期。LCAgent 采取三步处理：

  1. 语义标准化与证据拆分：把“双方肺门及纵隔淋巴结”等复合描述拆成独立实体，并按 T、N、M 三个证据集合路由。
  2. 三个专用智能体并行推理：T-Agent、N-Agent、M-Agent 只处理自己的解剖维度，并依据受规则约束的推理提示完成子分期。
  3. 确定性聚合：最终总分期不再交给大模型自由生成，而由 AJCC 规则矩阵计算；系统还会投影可疑证据可能造成的分期变化，向医生提示需要进一步检查的风险点。

这一步的关键价值是隔离干扰和消除最终聚合的随机性。

第二阶段：面向指南的治疗场景路由

把整本指南塞入一个提示词，会带来上下文过长和注意力稀释。LCAgent 先提取组织学类型、TNM、PS 评分、驱动基因、PD-L1 等关键变量，形成结构化患者画像；确定性路由脚本再把病例映射到具体场景，例如：

  • 早期根治术后；
  • 新辅助或围手术期治疗；
  • 晚期驱动基因阳性/阴性的一线治疗；
  • 后线治疗；
  • 寡转移治疗。

系统只激活对应的专家智能体，并注入该场景需要的 NCCN/CSCO 指南片段和关键临床试验证据。若关键字段缺失，智能体必须先发出补充检查或评估的警告，再讨论方案。

实验结果说明了什么

论文在三个独立抽样的 LungCURE-Core 子集上比较了通用多模态模型、OCR+LLM 方案和医疗专用模型，并同时测试中文与英文病例。

LungCURE主要实验结果

图源：论文 Figure 5。

结论一：当前模型距离可靠分期仍有明显差距

在图像输入、中文 TNM 分期任务中，最佳直接提示基线 Qwen3.5-397B 的严格准确率只有 61.46%。HuatuoGPT-Vision、DeepMedix-R1 和 Llava-Med 等医疗模型的完整 TNM 准确率仅为 0—7.29%，说明“医疗领域模型”不自动等于“能完成结构化、指南约束的临床推理”。

不同任务的模型排名也不一致。例如 GLM-4.6V 的中文 TNM 准确率为 38.54%，但中文端到端 F1 却达到 51.88，是表中直接提示模型的最高值。这说明 LungCURE 确实能把不同阶段的能力拆开观察。

结论二：瓶颈不只是 OCR 或视觉识别

OCR+LLM 相比直接图像输入并没有稳定的大幅优势；多数模型还存在明显的中英文差距。论文据此认为，主要瓶颈更接近临床推理与证据整合，而不只是输入模态的识别质量。

结论三：LCAgent 对 Precision 的提升非常明显

以 Qwen3.5-397B 的中文结果为例：

输入与任务 直接提示 + LCAgent 变化
图像输入，TNM Accuracy 61.46% 66.30% +4.84 个百分点
图像输入，治疗 Precision 35.22% 59.29% +24.07 个百分点
图像输入，端到端 Precision 31.60% 61.98% +30.38 个百分点
文本输入，端到端 Precision 23.54% 66.45% +42.91 个百分点

图像输入下，端到端 F1 还从 34.59 提升到 55.00，相对提升约 59.0%；TNM 推理质量 RQ 从 87.43 提升到 91.58。

可以看到，TNM Accuracy 的提升相对有限，而治疗推荐和端到端 Precision 的提升更大。这与框架设计相符：多智能体编排最擅长改善跨阶段的信息传递、指南选择和证据链组织，却不能凭空补足底座模型缺失的医学知识。

“几乎所有指标都提升”需要谨慎理解。部分英文 F1 明显下降：例如 Qwen3.5 图像输入的治疗 F1 从 39.37 降到 12.90，GPT-5.2 图像输入的端到端 F1 从 35.83 降到 23.50。LCAgent 更稳定地提高了 Precision 和中文结果，但并未在每个模型、语言、指标上同时获益。

这项工作的价值

我认为这篇论文最值得关注的不是“Agent 又赢了一个 Benchmark”，而是下面三点。

  1. 评测对象从答案升级为工作流。 TNM、治疗推荐和端到端决策被分别测量，研究者可以定位错误到底发生在哪个阶段。
  2. 结构化约束比无限加长提示词更适合高风险任务。 T/N/M 隔离、确定性规则聚合和场景路由，本质上是在减少模型可以随意发挥的空间。
  3. 真实临床数据暴露了通用榜单看不到的问题。 模型在医疗问答中表现不错，并不意味着它能在缺失模态、双语记录和复杂指南约束下保持一致推理。

局限与复现时需要留意的地方

  • 它仍是回顾性、测试集上的离线评估。 没有前瞻性临床试验，也没有证明使用系统能改善患者结局。
  • 开放式输出指标仍依赖自动评判。 Precision 的 LLM 裁判和 BERT-F1 无法覆盖药物禁忌、不良反应、剂量与真实安全性等全部临床维度。
  • 公开表述存在需要澄清之处。 论文正文称病例来自中国 10 余家医院，但附录 A.1 又写病例来自北京协和医院肿瘤内科；复现或引用数据来源时应以作者后续说明为准。
  • 分期指南版本需要核对。 论文附录和评判提示写的是 AJCC 第 8 版，而当前 Hugging Face 数据卡写的是第 9 版。不同版本会改变部分分期规则，正式复现实验时必须锁定具体版本。
  • 数据访问有条件。 数据仓库公开，但下载病例文件前需要登录并同意共享联系信息；数据卡同时声明该基准仅用于评测。

LungCURE 证明了一件很现实的事：在临床 AI 中，“给出一个听起来合理的答案”远远不够。更重要的是让证据、分期、指南和治疗建议形成一条可检查、可约束、能暴露不确定性的决策链。

参考资料