01文献学习今天分享的文献是由四川大学华西医院田蓉等团队于2026年4月16日在《BMC Medicine》中科院1区topIF8.3上发表的研究“Interpretable multimodal PET/CT-EHR fusion via mixture-of-experts for prognostic stratification in mantle cell lymphoma: a multicenter study”即基于混合专家模型的可解释多模态PET/CT-EHR融合在套细胞淋巴瘤预后分层中的应用一项多中心研究该研究开发了一种可解释的深度学习框架整合基线[18F]FDG PET/CT影像与电子健康记录EHR数据用于套细胞淋巴瘤MCL患者的个体化风险分层。通过构建混合专家MoE融合网络模型提取多种模态特征包括深度学习视觉特征、传统放射组学特征和医学语言模型特征并生成放射组学特征R-signatures显著提高了无进展生存期PFS和总生存期OS的预测性能。模型具有高度可解释性能够通过注意力热图、专家贡献权重和病理相关性分析揭示其决策依据。关键词套细胞淋巴瘤、PET/CT、放射组学、深度学习、多模态融合、预后分层创新点①新颖的多模态融合架构采用混合专家MoE与注意力门控机制非简单拼接有效整合PET/CT影像与电子健康记录EHR的异构数据。②多重可解释性机制集成注意力热图定位病灶、专家权重量化模态贡献及病理亚型关联分析突破了传统“黑箱”模型局限。③互补性视觉专家设计联合MedCLIP语义与MedSAM形态双视觉专家在中等样本量下高效提取PET/CT中的代谢与结构特征。临床价值①显著提升预后分层精度构建的影像组学特征R-signatures及多参数模型C-index达0.89优于传统MIPI指数精准识别高危患者。②无创指导个体化治疗基于基线PET/CT与常规化验指标无缝整合入现有流程为治疗升阶或降阶决策提供非侵入性工具。③增强临床信任度与理解热图与病理亚型如母细胞样的显著关联使模型决策符合临床认知促进AI在淋巴瘤管理中的实际应用。图 2研究整体工作流程图A多中心数据集整合3家中心的MCL患者配对数据PET/CT影像电子健康记录EHRB多模态PET/CT和EHR数据明确输入数据类型PET代谢影像、CT解剖影像、EHR临床文本数据C数据预处理影像PET/CT刚性配准→生成空间对齐的影像数据EHR临床报告结构化→生成标准化文本数据D多医学专家赋能的特征提取采用4类专业“专家模型”提取特征预训练MedCLIP提取PET/CT高级语义特征预训练MedSAM提取PET/CT病灶形态/边界特征传统影像组学提取PET/CT定量组学特征医学大模型Med-BERT提取EHR文本特征E基于注意力的混合专家MoE建模组内注意力聚合单模态/单专家特征精炼组间门控融合动态分配各专家权重生成患者级融合特征生存预测层分别训练无进展生存PFS、总生存OS预测模型F多任务评估与可解释性模型评估C-index、ROC、校准曲线、DCA可解释性注意力可视化、模态贡献量化、病理相关性分析02研究背景和目的研究背景套细胞淋巴瘤是一种异质性极强的B细胞恶性肿瘤其临床病程差异显著部分患者预后极差5年总生存率仅约65%。尽管目前已有MIPI和MIPI-c等预后评估工具但其预测准确性仍不理想尤其在高危患者的识别方面存在明显不足。近年来[¹⁸F]FDG PET/CT在MCL的分期和疗效评估中发挥重要作用代谢肿瘤负荷指标如TMTV和TLG被证实具有预后价值。然而这些传统指标难以全面捕捉肿瘤内部的异质性也未能充分利用CT提供的结构信息。与此同时深度学习技术在整合多模态数据方面展现出潜力但现有方法大多将PET/CT与电子健康记录独立处理或采用简单的融合策略如后期融合或特征拼接导致模态特异性信息被稀释跨模态关联被忽视。此外PET/CT的3D空间信息与EHR的文本语义信息之间存在天然异构性构建端到端的统一融合框架在技术上极具挑战。更关键的是现有模型的可解释性严重不足难以获得临床医生的信任也限制了其在实际诊疗中的应用。因此亟需开发一种能够系统融合多模态数据、保留各自表征能力、并具备临床可解释性的预后分层工具以推动MCL精准治疗的进展。研究目的针对上述挑战本研究旨在开发一个可解释的多模态深度学习框架系统融合基线[¹⁸F]FDG PET/CT影像与电子健康记录数据用于套细胞淋巴瘤患者的个体化风险分层与预后预测。具体而言研究提出了一种基于混合专家模型的融合网络通过引入视觉编码器、影像组学提取器和医学语言模型作为多个“专家”模块并采用基于注意力的门控机制对这些模态特征进行动态整合构建出能够预测无进展生存期和总生存期的多模态影像组学特征。该框架不仅在特征提取阶段保留了每种模态的独特性还在融合过程中实现了跨模态的协同建模。研究进一步将R-signatures与临床指标和代谢参数结合构建多参数预后模型并通过C-index、时间依赖ROC曲线、校准曲线和决策曲线分析等手段系统评估其性能。此外研究特别强调模型的可解释性通过注意力热图可视化风险相关区域、量化各专家模块的贡献权重并与病理亚型进行关联验证确保模型预测与临床认知一致。最终目标是提供一种非侵入性、临床可转化的工具实现对MCL患者的精准风险分层指导个体化治疗决策。03数据和方法研究数据样本量187例初治MCL患者数据来源三中心华西医院、江苏省人民医院、南京鼓楼医院数据划分训练集125例验证集62例8:2随访中位数训练集33.0个月验证集27.5个月事件数训练集疾病进展39例死亡20例验证集疾病进展21例死亡9例图 1参与者筛选流程图技术方法多模态数据预处理PET/CT配准、标准化、切片分解EHR文本去标识、分句、时序标注。多专家特征提取MedCLIP语义视觉特征MedSAM形态学特征传统放射组学特征Med-BERT文本特征混合专家融合网络组内Transformer自注意力聚合组间注意力门控机制动态加权生存预测Cox比例风险模型分别优化PFS和OS。模型评估C-index、时间依赖ROC、DCA、校准曲线。可解释性分析注意力热图、专家权重、病理亚型关联。04实验结果R-signature预测性能PFS训练集AUC0.893验证集AUC0.755OS训练集AUC0.804验证集AUC0.844多参数模型R-signatureTLGWBCKi-67/β2-MGC-indexPFS训练0.892验证0.781OS训练0.877验证0.862优于MIPI和MIPI-c可解释性注意力热图聚焦于高代谢肿瘤区域PET在PFS中贡献更大EHR补充信息显著R-signature在侵袭性病理亚型blastoid/pleomorphic中显著升高图 3R-signature对PFS和OS的预测性能图中包含ROC曲线、小提琴图和Kaplan-Meier生存曲线。训练队列中R-signature预测PFS的AUC达0.893OS达0.804验证队列分别为0.755和0.844。小提琴图显示发生进展或死亡患者的R-signature值显著升高P0.01。KM曲线证实高风险组PFS和OS均显著劣于低风险组训练和验证队列P均0.05表明该影像组学签名是强有力的预后分层工具。图 4单因素与多因素分析的森林图森林图展示了影响PFS和OS的各独立预测因子及其风险比HR。多因素分析显示对于PFSWBC升高HR2.460、Ki-67高表达HR2.073和TLG增高HR4.345为独立危险因素对于OSβ2-微球蛋白升高HR5.470和TLG增高HR5.789具有显著预测价值。此外R-signature在两种终点中均为最强独立因子PFS: HR27.70OS: HR6.86。图 5多参数模型的评估与验证图中展示了整合R-signature、TLG及临床变量PFS模型含WBC和Ki-67OS模型含β2-MG的多参数模型性能。校准曲线显示预测与观察结果高度一致C-index在训练队列中PFS达0.892、OS达0.877验证队列分别为0.781和0.862显著优于MIPI和MIPI-c。时间依赖ROC曲线验证了1年、3年、5年AUC均接近或超过0.800决策曲线分析进一步证实其临床净获益更大。图 6深度学习模型的可解释性分析图中包含多个子图(a)注意力热图显示模型聚焦于高代谢肿瘤区域如腹部、腋窝与临床评估一致(b-e)模态贡献权重表明PET和CT主导OS预测而EHR对PFS贡献更明显消融实验证实多模态融合持续提升性能(f-g)小提琴图显示母细胞型/多形性变体的R-signature值显著高于经典型P0.028和0.010(h)HE染色图展示了三种亚型的形态学差异证明R-signature能反映病理生物学侵袭性。05研究结论该研究开发并验证了一种可解释的多模态深度学习框架通过混合专家Mixture-of-Experts, MoE融合网络整合基线[¹⁸F]FDG PET/CT影像与电子健康记录EHR数据用于套细胞淋巴瘤MCL的预后分层。研究得出的主要结论包括所构建的影像组学特征R-signatures在训练与验证队列中均能有效区分疾病进展与死亡风险AUC最高达0.893与0.844并作为独立预后因子PFS: HR27.70OS: HR6.86。将R-signatures与总病变糖酵解TLG、β2-微球蛋白、白细胞计数及Ki-67等临床及代谢指标结合构建的多参数模型其预测性能C-index最高达0.892与0.877显著优于传统MIPI及MIPI-c指数。此外模型具备良好的临床可解释性注意力热图聚焦于高代谢肿瘤区域专家组权重可量化各模态贡献且R-signatures在母细胞样及多形性变异型患者中显著升高体现其与病理侵袭性的关联。研究最终认为该非侵入性、可解释的多模态融合策略可有效提升MCL预后判断精度为风险适应性治疗提供了具备临床转化潜力的工具。参考文献Jiang C, Zhang Z, Jiang Z, Ding C, Teng Y, Gao L, Jiang M, Qu L, Tian R. Interpretable multimodal PET/CT-EHR fusion via mixture-of-experts for prognostic stratification in mantle cell lymphoma: a multicenter study. BMC Med. 2026 Apr 16. doi: 10.1186/s12916-026-04865-1.