【免费下载链接】Hulu-MedA Transparent Generalist Model towards Holistic Medical Vision-Language Understanding项目地址https://gitcode.com/gh_mirrors/hu/Hulu-Med点击查看免费下载Hulu-Med是一个面向整体医疗视觉-语言理解的开源多模态大模型能同时处理医疗文本、2D 影像、3D 体数据CT/MRI 的 NIfTI 文件和手术视频。很多新手第一次喂给它 3D CT 时都会卡壳nii_slice_axis该填什么nii_num_slices设多少合适merge_size又是什么本文用一个真实的 3D 推理示例把这三个关键参数讲透帮你快速上手 Hulu-Med 的 3D CT 报告生成任务。一、核心思路把 3D CT 当成视频来喂Hulu-Med 处理 3D 数据的底层逻辑非常巧妙它把 3D 体数据统一建模为时间或空间维度上的扩展也就是把一摞 CT 切片当作一段视频帧序列送入模型。官方注释原文We unify the modeling of video and 3D inputs as extensions along the temporal or spatial dimension这意味着两件事3D CT 会被切成一叠 2D 切片图按顺序排列成帧序列3D 场景复用的是video模态所以推理时modal参数要写video并且merge_size通常设为2单张 2D 图像则设为1。这一视频化设计让 Hulu-Med 无需改造视觉编码器就能复用成熟的时间建模能力理解整个 3D 结构。二、参数实战 1nii_slice_axis—— 从哪个轴切3D 数据加载函数是load_images当传入.nii或.nii.gz文件时会自动调用slice_nifti_to_images进行切片核心实现在 mm_utils.pyaxis_map {axial: 2, coronal: 1, sagittal: 0}三个可选值对应医学影像的三个标准平面参数值平面含义axial默认轴位横断面从上往下切最常用coronal冠状面从前往后切看整体结构分布sagittal矢状面从左往右切看侧面形态对于常规腹部 CT 报告生成如仓库示例中的 AMOS 数据用默认的axial即可当你想考察特定方向如脊柱侧面形态时再切换轴。三、参数实战 2nii_num_slices—— 切多少帧切片数量由nii_num_slices控制默认180。切分方式不是简单取前 N 帧而是用np.linspace在整个轴上均匀采样指定帧数mm_utils.pynum_total_slices image_data.shape[slice_axis] sampled_indices np.linspace(0, num_total_slices - 1, num_slices, dtypeint)同时每张切片会被做逐帧归一化0~255 拉伸转 RGB所以不同窗宽窗位的 CT 也能被稳定读取。怎么设置帧数记住两个权衡帧数越多→ 空间覆盖越完整细节越多但视觉 token 暴涨显存和推理时间线性上升帧数越少→ 快而省但可能漏掉关键层面比如病灶恰好落在被跳过的层面。仓库官方示例中AMOS 腹部 CT 用的是nii_num_slices160手术视频用max_frames1800见 Inference.ipynb。新手建议腹部/胸腔 CT 报告120 ~ 180帧起步显存紧张如 24G 显卡跑 14B 模型降到80 ~ 120精细定位任务适当加帧配合merge_size2控制 token 量四、参数实战 3merge_size—— 视觉 token 的压缩开关merge_size是 Hulu-Med 视觉编码器的空间合并参数视觉特征图上的每merge_size × merge_size个 patch 合并为 1 个 token 送入 LLM。它直接影响token 数量merge_size2时视觉 token 量约为merge_size1的 1/4显存占用与推理速度token 越少越快。处理逻辑在 image_processing_hulumed.py 中merge_size会参与目标尺寸计算factor patch_size * merge_size保证图像被缩放为合并后整除的尺寸processor 层在 processor.py 将其透传给图像处理器。官方惯例非常明确README 与推理示例中一致inputs processor( images[slices] if modal ! text else None, textconversation, merge_size2 if modal video else 1, # 3D 和视频用 22D 图像用 1 return_tensorspt )也就是说3D CTvideo 模态固定merge_size2。因为 3D 帧数多若不合并 token 会爆炸而单张 2D 图像 token 少用1可保留最细粒度。五、完整 3D CT 推理流程速览以仓库示例 Inference.ipynb 的 3D 场景为例流程只有四步完整示例见 README.md① 加载 NIfTI 并切片slices load_images( ./demo/amos_0013.nii, # 支持 .nii / .nii.gz nii_num_slices160 # 沿默认 axial 轴均匀采样 160 帧 )② 构造对话模态标为 videoconversation [ { role: user, content: [ {type: video, num_frames: len(slices)}, {type: text, text: This is a medical 3D scenario. Please generate a medical report for the given 3D medical images, including both findings and impressions.}, ] } ]③ Processor 编码3D 用 merge_size2④ 生成model.generate(..., modals[video], ...)得到包含 findings 和 impressions 的结构化报告。如果走 vLLM 加速推理可参考 Hulumed_VLLM.ipynbQwen3 版本模型的调用方式见 Inference_qwen3.ipynb。六、新手常见问题Q1为什么我的 3D 推理特别慢/爆显存先降nii_num_slices如 160 → 100这是最直接的杠杆merge_size2是官方推荐值不建议为 3D 场景改成 1。Q2切片后每张图是什么格式slice_nifti_to_images会逐帧做 min-max 归一化并转成uint8RGB 图像模型输入始终是标准 2D 图像序列无需额外预处理。Q3轴选错了会怎样不会报错但看到的帧序列方向变了如 coronal 轴每帧是纵向断面。报告类任务建议保持axial与临床阅片习惯一致。Q4视频和 3D 参数一样吗模态处理一致都用videomerge_size2区别只在于帧来源视频用load_video按fps抽帧3D 用load_images按轴切片。七、小结参数作用3D CT 推荐值nii_slice_axis切片平面axialnii_num_slices均匀采样的帧数120~180按显存调节merge_size视觉 token 空间合并倍数2video/3D 固定掌握这三个参数你就能灵活地在覆盖度、速度、显存之间做平衡用 Hulu-Med 稳定跑通 3D CT 报告生成任务。更多模型与评测细节可查阅 README.md批量评测代码位于 MedUniEval/ 目录。赞分享【免费下载链接】Hulu-MedA Transparent Generalist Model towards Holistic Medical Vision-Language Understanding项目地址https://gitcode.com/gh_mirrors/hu/Hulu-Med点击查看免费下载相关推荐一文读懂Hulu-Med统一医学文本、2D/3D影像与视频的开源视觉语言模型全景解析一文读懂Hulu Med统一医学文本、2D/3D影像与视频的开源视觉语言模型全景解析 Hulu Med 是由 ZJU AI4H 团队推出的完全开源的 医学视觉Hulu-Med医疗多模态大模型完全指南10分钟跑通3D CT报告生成的快速上手教程Hulu Med医疗多模态大模型完全指南10分钟跑通3D CT报告生成的快速上手教程 Hulu Med 是浙江大学 AI4H 团队开源的 医疗多模态大模型 Hulu-Med架构深度剖析SigLIP视觉编码器2D RoPE如何统一处理2D/3D/视频Hulu Med架构深度剖析SigLIP视觉编码器2D RoPE如何统一处理2D/3D/视频 Hulu Med 是浙江大学 AI4H 团队开源的透明医疗视觉上一篇YouTube.js 解析器节点详解FancyDismissibleDialog 可关闭弹窗节点的结构与用法下一篇Agent Lightning 强化学习训练治理实战用 Agent Governance Toolkit 实现 0% 策略违规的受管 RL 训练创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考