一、RMSNorm均方根归一化“均方根”这个名字就是计算顺序原始数值平方 → 求平均 → 开平方。以[-5,-5,-5]举例RMS然后每个原始特征都除以这个尺度[-5/5,-5/5,-5/5][-1,-1,-1]二、输入投影Mamba将数据集的每个位置的特征进行归一化之后对特征做加权组合生成两条分支一条进入短因果卷积随后进入SSM一条经过SiLU形成输出门控的系数SiLU的操作是把一个数乘以由它自己决定的缩放系数。这里的叫Sigmoid它是一种固定函数把输入转换成介于0和1之间的数。PyTorch 2.14 documentationSigmoid的数值使用固定公式三、SSM当前的记忆中间状态新信息写入项其中通过训练确定的负数参数正常推理时保持固定。根据当前输入生成的正数用来调节这一步的更新。最终乘在旧记忆上的保留系数。官方实现记忆沿序列传递输出沿时间传递。SSM不断传递更新后的记忆第一个位置的信息如果仍保留在其中就有机会影响后面的位置。“传得远”与“完整保存”是两回事并不能保存所有细节。记忆已经在 SSM 内部更新完了后面的输出门控只调节读出的结果不会回头撤销那次记忆更新。分清“参数量”这个概念参数量是模型中通过训练学到的数值的数量和SSM的“当前内部记忆大小”不同。四、实验引入一个新机制不能只因为它在语言任务中有效就默认它在电力、天气等数据上也有效。需要检查数据特点和任务需求再做对应实验。