资讯动态

从基向量搬迁到算术强度陷阱:给大模型工程师的线代解构

发布时间:2026/8/16 17:47:16 来源:尧图企业网站定制
几乎所有入门材料都会给你同一个比喻:np.ndarray的二维形态就是矩阵,矩阵就是一张按行列排好的数字表。这个比喻很省事,也确实够你把A @ B写对。可它解释不了紧接着发生的每一件事——为什么行数列数必须那样对上;为什么nn.Linear存权重偏要存成(out_features, in_features)这个看起来反过来的形状;为什么同一份权重、同样多的乘加,换个乘法顺序墙钟时间能差出一个数量级;为什么有人把一层权重换成两个瘦矩阵还不掉点,有人换完精度直接崩。表格这个比喻在第一个问题上就已经不够用了:格子里放什么它管得住,格子代表哪里它管不住。而后面所有的坑,坑的都是“哪里”。矩阵的每一列记的是一个基向量被搬到了哪里。本文从二十行手写matmul与np.matmul的对拍起步,推出乘法为什么是列的线性组合、结合律怎么把同样的 FLOPs 差出十九倍;再用行列式、秩与条件数改写可逆性判据,把nn.Linear的y = xA^T + b拆回换基加平移,用幂迭代盯住方向不变的特征向量,用 SVD 把矩阵摊成一串外积并量 Eckart-Young 的截断误差,验 PCA 走 SVD 而非协方差特征分解的数值理由,再算低秩替换在算术强度上翻车的那一档,收在 shape 与广播的三种翻车上。适合写高性能 C++ 或做大模型算法、而线代记忆还停在应试层的工程师。二十行手写 matmul,和它藏起来的那个断言先把东西做出来。矩阵乘法的教科书定义是“

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价