最近在帮一个医疗创业团队做技术支持他们想把通用大模型改造成能回答专业医疗问题的智能助手。今天就把整个过程整理出来希望对有类似需求的朋友有所帮助。**核心工具链**LLaMA-Factory Qwen3.5-4B 医疗问答数据集Qwen3.5 是阿里最新发布的千问系列模型4B 参数量刚好卡在效果够用 显存友好的甜蜜点LLaMA-Factory 则是目前开源社区最成熟的微调框架上手简单坑也相对少。准备工作先说硬件要求。4B 模型用 LoRA 微调的话一张 12GB 显存的显卡就够了比如 RTX 4070。如果手头只有 8GB 显存的卡可以上 QLoRA 量化方案牺牲一点精度换显存空间。微调方式4B 模型显存需求推荐显卡LoRA (16-bit)~10-12 GBRTX 4070 / RTX 3090QLoRA (8-bit)~6-8 GBRTX 4060 / RTX 3070QLoRA (4-bit)~4-6 GBRTX 3060软件环境这边建议 Python 3.11PyTorch 2.0 以上。CUDA 版本最好 12.x兼容性更好。下载 Qwen3.5-4B 模型模型从魔搭社区下载国内速度很快# 安装 modelscope pip install modelscope # 方式一Python 代码下载 from modelscope import snapshot_download model_dir snapshot_download(Qwen/Qwen3.5-4B) print(f模型已下载到: {model_dir}) # 方式二命令行下载 modelscope download --model Qwen/Qwen3.5-4B --local_dir ./models/Qwen3.5-4B** 小贴士**模型大约 9.3GB建议挂个代理或者选择网络好的时间段下载。下载完记得检查一下文件完整性。搭建 LLaMA-Factory 环境LLaMA-Factory 的安装很直接# 克隆仓库 git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory # 安装依赖 pip install -e . pip install -r requirements/metrics.txt # 如果需要 DeepSpeed 加速可选 pip install -r requirements/deepspeed.txt装完之后可以跑一下测试命令确认环境没问题llamafactory-cli version准备医疗数据集数据集是微调效果的关键。这里用的是开源的中文医疗问答数据主要来自几个渠道数据来源推荐GitHub 上有个 llm-medical-data 仓库整理了几十万条医疗问答数据覆盖内科、外科、妇产科、儿科等科室。另外 HuggingFace 上的 shibing624/medical 数据集也不错格式比较规范。LLaMA-Factory 要求的数据格式是这样的[ { instruction: 你是一个专业的医疗助手请根据患者描述给出建议。, input: 我最近总是头痛尤其是下午的时候已经持续一周了。, output: 持续性头痛需要关注。建议您先排除以下几个常见原因1睡眠质量2用眼过度3颈椎问题。如果休息后仍不缓解建议到医院神经内科就诊做个头部CT检查。 }, { instruction: 你是一个专业的医疗助手请根据患者描述给出建议。, input: 孩子3岁发烧38.5度要不要去医院, output: 38.5度属于中度发热。可以先在家观察处理1物理降温温水擦拭腋下、腹股沟2保持室内通风3多喝水。如果体温超过39度、持续超过3天、或出现精神萎靡、抽搐等情况需要立即就医。 }, ... ]把处理好的数据放到 data/ 目录下然后在 data/dataset_info.json 里注册{ medical_qa: { file_name: medical_qa.json, columns: { prompt: instruction, query: input, response: output } } }开始微调配置文件是整个流程的核心。在 examples/train_lora/ 下创建一个 qwen35_medical_lora.yaml### 模型配置 ### model_name_or_path: ./models/Qwen3.5-4B trust_remote_code: true ### 微调方法 ### stage: sft do_train: true finetuning_type: lora lora_rank: 64 lora_alpha: 128 lora_target: all ### 数据集配置 ### dataset: medical_qa template: qwen3 cutoff_len: 2048 preprocessing_num_workers: 8 ### 训练参数 ### output_dir: ./output/qwen35_medical_lora per_device_train_batch_size: 2 gradient_accumulation_steps: 8 learning_rate: 1.0e-4 num_train_epochs: 3.0 lr_scheduler_type: cosine warmup_ratio: 0.1 logging_steps: 10 save_steps: 500 ### 显存优化 ### bf16: true gradient_checkpointing: true参数解读•lora_rank: 64—— LoRA 秩越大表达能力越强但显存占用也越大•lora_target: all—— 对所有线性层应用 LoRA效果更好•gradient_checkpointing: true—— 用时间换空间降低显存占用一切就绪启动训练llamafactory-cli train \ examples/train_lora/qwen35_medical_lora.yaml训练过程中可以通过 TensorBoard 监控 loss 曲线tensorboard --logdir./output/qwen35_medical_lora/runs在我的测试环境RTX 4090上1万条数据训练 3 个 epoch 大约需要 40 分钟。测试效果训练完成后先在命令行跑个快速测试llamafactory-cli chat \ examples/inference/qwen35_medical_lora.yaml对应的推理配置文件 qwen35_medical_lora.yamlmodel_name_or_path: ./models/Qwen3.5-4B adapter_name_or_path: ./output/qwen35_medical_lora template: qwen3 finetuning_type: lora实测下来微调后的模型在医疗问答上明显比原版更专业。比如问孕妇能不能吃螃蟹原版模型可能给个模棱两可的回答微调后的版本会从中医寒凉属性、现代营养学、个体差异等多个角度分析更像一个有经验的医生。导出和部署如果效果满意可以把 LoRA 权重合并到基座模型里方便后续部署llamafactory-cli export \ examples/merge_lora/qwen35_medical_merge.yaml合并配置model_name_or_path: ./models/Qwen3.5-4B adapter_name_or_path: ./output/qwen35_medical_lora template: qwen3 finetuning_type: lora export_dir: ./models/Qwen35-Medical export_size: 2 export_device: cuda export_legacy_format: false合并后的模型可以直接用 vLLM 或者 SGLang 部署成 API 服务# vLLM 部署 pip install vllm vllm serve ./models/Qwen35-Medical \ --port 8000 # 或者 LLaMA-Factory 内置的 API 服务 API_PORT8000 llamafactory-cli api \ examples/inference/qwen35_medical.yaml踩坑记录分享几个我遇到过的问题1. 显存不够用把 per_device_train_batch_size 调小或者启用 gradient_checkpointing。实在不行就上 4-bit 量化。2. Loss 不下降检查数据格式是否正确尤其是 dataset_info.json 里的字段映射。另外学习率不要设太大1e-4 到 5e-5 之间比较稳。3. 微调后模型变傻了可能是数据质量问题或者训练轮数太多导致过拟合。适当减少 epoch 数或者在数据里混入一些通用对话保持泛化能力。医疗领域的 AI 应用一定要注意模型输出仅供参考不能替代专业医生的诊断。在产品设计时要做好免责声明和人工审核机制。整个流程走下来从环境搭建到模型部署熟练的话半天就能搞定。LLaMA-Factory 确实把微调的门槛降低了很多配合 Qwen3.5 这样的高质量基座模型普通开发者也能做出效果不错的垂直领域 AI 助手。当然真要做成产品级的医疗 AI还需要在数据质量、安全合规、持续迭代等方面下功夫。但至少迈出第一步没那么难。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】