资讯动态

23-LoRA深挖下-初始化合并续训与优化器

发布时间:2026/10/23 17:33:46 来源:尧图企业网站定制
LoRA 深挖(下):全零初始化、权重合并、继续训练、优化器【大模型面试通关手册 · 第 23 篇】本篇覆盖:BBB全零初始化的四层理由与"第一步的梯度流向"、恒等性为什么可验证、merge 的数学与精度陷阱、可逆性边界、继续训练的三种方案辨析、优化器选择(AdamW / Sophia / Lion)、显存因素的四个变量、保存与恢复(LoRA 篇 14 题后半)一、面试现场:这 14 题里有一半是"实现题"素材这一段的问法:“Lora 的矩阵怎么初始化?为什么要初始化为全 0?”(二十)“LoRA 权重是否可以合入原模型?”(四)、“LoRA 权重是否可以合并?”(十八)“如何在已有 LoRA 模型上继续训练?”(八)“微调大模型时,优化器如何?”(十六)“哪些因素会影响内存使用?”(十七)“ChatGLM-6

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑