扩散模型Diffusion Model核心思想先逐步把真实数据破坏成噪声再训练一个神经网络学会逐步从噪声恢复出数据。具体来说它通过前向加噪定义一条从数据到噪声的路径再学习反向去噪路径从而从随机噪声生成高质量样本。加噪按固定规则把数据逐步破坏成高斯噪声建立一条从数据到噪声的路径。去噪训练神经网络学习这条路径的逆过程从高斯噪声逐步恢复数据。加噪负责提供训练目标和中间监督去噪负责学习数据分布并完成生成。最终模型学会的不是“记住某张图”而是“如何从随机噪声一步步走向真实数据分布”。1. 两个过程1前向加噪把数据慢慢变成噪声给定一张真实图片扩散模型在很多个时间步中不断加入少量高斯噪声当步数足够多时近似变成标准高斯噪声。这个过程是固定的不需要学习。具体来说给定一张真实图片前向过程按时间步逐步加入高斯噪声其中是每一步的噪声强度。经过足够多步后近似变成标准高斯噪声这个过程有一个很好的性质可以一步直接采样任意时刻的其中。关键点是前向加噪是固定的、无需学习的。它只是构造了一条从数据分布到简单高斯分布的“桥”。2反向去噪从噪声慢慢恢复数据模型学习从纯噪声开始逐步预测并去除噪声最终得到一个接近真实数据分布的样本。反向过程由神经网络参数化通常输入当前噪声图片和时间步输出噪声或去噪后的图像。具体来说如果能把加噪过程倒过来就能从纯噪声生成数据。但真实的反向分布很难直接算于是用神经网络学习一个近似网络输入是带噪样本和时间步输出是去噪后的分布参数。时间步很重要因为它告诉网络当前噪声有多大。训练时通常让网络预测加入的噪声其中也就是说网络看到一张被噪声污染过的图要猜出当初加进去的噪声是什么。猜到噪声后就可以反推出更干净的。从分数匹配角度看预测噪声等价于学习数据分布的对数梯度也就是 score所以去噪网络本质上是在学习当前噪声样本应该往哪个方向移动才能更接近真实数据分布。3生成过程从纯噪声开始迭代去噪训练完成后生成新样本的流程是① 从标准高斯噪声开始② 对用网络预测噪声并采样③ 最后得到的就是生成样本。所以扩散模型的生成不是一次完成的而是很多次小步去噪。每一步只去掉一点噪声逐渐把随机噪声“雕刻”成有结构的数据。2.怎么训练最常见的方法如DDPM是从数据集中取一张真实图片随机选一个时间步按公式直接给它加上一定强度的高斯噪声得到让神经网络预测“加进去的噪声”用均方误差训练也就是说网络的任务不是直接背出图片而是学会判断当前图片里哪些是噪声。学会预测噪声后就可以在采样时一步步去掉噪声。3. 为什么叫“扩散”这个名字借用了物理学中的扩散概念一滴墨水在水中逐渐散开最终均匀分布。扩散模型里数据中的信息逐渐“扩散”到噪声中生成则是反向恢复信息。4. 主要特点优点生成质量高细节丰富多样性好不容易模式崩溃训练通常比 GAN 更稳定容易做条件生成比如文本生成图像。缺点采样速度慢传统 DDPM 需要几百到上千步计算和存储成本较高训练和推理都比较耗资源。后来出现了DDIM、DPM-Solver等加速采样方法可以在几十步甚至几步内生成。5. 常见变体DDPM去噪扩散概率模型经典扩散模型DDIM确定性、更快的采样方法Score-based Generative Models基于得分匹配的扩散模型Latent Diffusion Model在 VAE 的潜空间里做扩散代表是Stable Diffusion大幅降低计算量条件扩散模型加入文本、类别、图像等条件用于文生图、图生图、超分等。6. 应用扩散模型目前广泛用于文生图Stable Diffusion、Imagen、DALL·E 2 等视频生成Sora 等视频扩散模型图像编辑、修复、超分辨率音频、语音、音乐生成3D 内容、分子结构、药物设计等。7.为什么这种思想有效把困难问题拆成很多简单问题直接从纯噪声生成图像很难但每一步只去一点噪声网络容易学。每个时间步都有监督信号训练时知道原始所以能构造任意噪声级别的监督网络预测噪声。覆盖多尺度结构早期时间步主要恢复轮廓和全局结构后期时间步恢复细节和纹理。反向过程等价于学习数据分布的梯度场去噪方向指向高概率区域因此最终能采样到真实数据分布附近。随机性带来多样性反向采样中保留随机噪声使同一个初始噪声或不同初始噪声可以生成不同样本。DDIM 等方法则可以做更确定性的采样。扩散模型在知识图谱和思维链催生了新的研究范式。它的核心思想——通过迭代去噪来逼近目标分布——在这些任务中找到了独特的应用方式。扩散模型在知识图谱中的应用扩散模型正被用于解决知识图谱的多种核心任务如推理、补全和推荐。知识图谱推理与逻辑发现这是应用最活跃的方向之一。例如DARK模型将演绎从查询推理结论和溯因从观察生成假设统一在一个掩码扩散模型框架中通过自反思去噪过程迭代生成并验证假设并用强化学习探索新的推理组合。针对时序知识图谱DMSA模型在编码器中引入选择性注意力并在扩散模块中加入噪声以增强对罕见或未见事件的预测能力。知识图谱补全扩散模型将补全任务视为一个条件生成问题。MCDN模型将实体预测建模为查询自适应的多条件生成从实体和关系上下文中学习语义条件并引入结构先验在潜在空间中通过反向扩散过程逐步恢复目标实体。MEDKGC则通过混合专家架构增强扩散模型以更好地处理多模态知识图谱补全任务。知识图谱增强的推荐系统扩散模型被用来过滤知识图谱中的噪声。KDDRec模型提出双视角扩散策略分别注入随机噪声和结构化噪声再进行扩散和去噪最后合并结果以防止过度去噪并保留任务相关的三元组。结构化知识融入语言生成KGDIFF模型构建了统一的知识图谱-句子交互图并提出基于结构注意力机制的关系图扩散以迭代方式传播结构知识并进行结构化推理从而生成逻辑更合理的文本。扩散模型在思维链中的应用思维链通常与自回归语言模型的“从左到右”生成方式绑定而扩散模型的引入提供了一种非自回归、可迭代精炼的新思路。核心范式扩散思维链 (DoT)DoT是这一方向的奠基性工作。它将推理步骤视为可以随时间“扩散”的变量而非严格的线性序列。在反向扩散过程中所有推理步骤被并行地、迭代地精炼模型可以在生成过程中反复回顾和修正早期步骤。实验证明一个小的扩散模型在多位数乘法和小学数学问题上能比更大的自回归模型在效率和准确率上表现更优并展现出自我纠错能力。弥散横向思维链 (DCoLT)DCoLT将反向扩散的每一步视为一个潜在的“思考”动作并使用基于结果的强化学习来优化整个推理轨迹。与线性的CoT不同DCoLT允许双向、非线性的推理中间步骤不要求严格的语法正确性在数学和代码生成任务上显著提升了推理准确率。潜在扩散推理器 (LaDiR)LaDiR旨在克服LLM自回归解码的局限。它通过变分自编码器 (VAE)将文本推理步骤编码为紧凑的潜在思维令牌然后在这些潜在空间上训练扩散模型进行去噪。这种方法支持块状双向注意力能进行更长范围的迭代精炼并生成多样化的推理轨迹而非重复的解。扩散模型中的内生思维链 (EndoCoT)EndoCoT针对多模态扩散模型提出内源性思维链框架。它通过迭代思维引导模块让多模态大语言模型 (MLLM) 的文本编码器产生精细推理的指导并将这些潜在的思维状态桥接到扩散Transformer (DiT) 的去噪过程中使DiT能逐步分解复杂指令在迷宫、数独等空间推理任务上平均准确率达到92.1%。总结扩散模型为知识图谱和思维链带来的核心变革在于从“单向生成”到“迭代精炼”的范式转换。在知识图谱中它提供了一种可控的生成式框架通过前向加噪和反向去噪灵活地处理推理中的不确定性、补全缺失信息并过滤噪声。在思维链中它打破了自回归的顺序枷锁允许推理步骤在连续或潜在空间中并行演化、反复修正并借助强化学习优化整体推理轨迹展现出更强的灵活性和自我纠错潜力。