2026/9/1 20:19:55
Transformer 与大语言模型:第8章 Feed Forward Network(FFN 网络)
第8章 Feed Forward Network 本章目标: 理解 FFN 在 Transformer Block 中的作用,以及为什么维度要扩大四倍,GELU/SwiGLU 的原理。 8.1 如果没有 FFN 会怎样?
在进入 FFN 的结构之前,我们先问一个关键问题:如果 Transformer Block 只有 Attention,没有 FFN,会发生什么…