前言在大模型的研发中通常会有下面一些需求计划训练一个 10B 的模型想知道至少需要多大的数据收集到了 1T 的数据想知道能训练一个多大的模型老板准备 1 个月后开发布会给的资源是 100 张 A100应该用多少数据训多大的模型效果最好老板对现在 10B 的模型不满意想知道扩大到 100B 模型的效果能提升到多少以上这些问题都可以基于 Scaling Law 的理论进行回答。本文是阅读了一系列 Scaling Law 的文章后的整理和思考包括 Scaling Law 的概念和推导以及反 Scaling Law 的场景不当之处欢迎指正。1、核心结论大模型的 Scaling Law 是 OpenAI 在 2020 年提出的概念具体如下1对于 Decoder-only 的模型计算量 C(Flops), 模型参数量 N数据大小 D(token 数)三者满足C≈6ND。(推导见本文最后)2模型的最终性能主要与计算量 C模型参数量 N 和数据大小 D 三者相关而与模型的具体结构(层数/深度/宽度)基本无关。固定模型的总参数量调整层数/深度/宽度不同模型的性能差距很小大部分在 2% 以内。3对于计算量 模型参数量 和数据大小 当不受其他两个因素制约时模型性能与每个因素都呈现幂律关系。4为了提升模型性能模型参数量 N 和数据大小 D 需要同步放大但模型和数据分别放大的比例还存在争议。5Scaling Law 不仅适用于语言模型还适用于其他模态以及跨模态的任务2、核心公式如下图3、大模型中的Scaling Law1.GPT4下图是 GPT4 报告中的 Scaling Law 曲线计算量 C 和模型性能满足幂律关系。横轴是归一化之后的计算量假设 GPT4 的计算量为 1。基于 10,000 倍小的计算规模就能预测最终 GPT4 的性能。纵轴是Bits for words, 这也是交叉熵的一个单位。在计算交叉熵时如果使用以 2 为底的对数交叉熵的单位就是 “bits per word”与信息论中的比特bit概念相符。所以这个值越低说明模型的性能越好。2.Baichuan2下图是 Baichuan2 技术报告中的 Scaling Law 曲线。基于 10M 到 3B 的模型在 1T 数据上训练的性能可预测出最后 7B 模型和 13B 模型在 2.6T 数据上的性能。3.MindLLM下图是 MindLLM 技术报告中的 Scaling Law 曲线。基于 10M 到 500M 的模型在 10B 数据上训练的性能预测出最后 3B 模型在 500B 数据上的性能。4、Scaling Law实操计算效率最优根据幂律定律模型的参数固定无限堆数据并不能无限提升模型的性能模型最终性能会慢慢趋向一个固定的值。按照上面的思路下面进行 Scaling Law 的实操。首先准备充足的数据例如 1T设计不同模型参数量的小模型(例如 0.001B - 1B)独立训练每个模型每个模型都训练到基本收敛假设数据量充足。根据训练中不同模型的参数和数据量的组合收集计算量与模型性能的关系。然后可以进一步获得计算效率最优时即同样计算量下性能最好的模型规模和数据大小的组合模型大小与计算量的关系以及数据大小与计算量的关系。具体最好在自己的数据上做实验来获得你场景下的 a 和 b。5、LLaMA反Scaling Law的大模型假设遵循计算效率最优来研发 LLM那么根据 Scaling Law给定模型大小可以推算出最优的计算量进一步根据最优计算量就能推算出需要的 token 数量然后训练就行。但是计算效率最优这个观点是针对训练阶段而言的并不是推理阶段实际应用中推理阶段效率更实用。Meta 在 LLaMA 的观点是给定模型的目标性能并不需要用最优的计算效率在最快时间训练好模型而应该在更大规模的数据上训练一个相对更小模型这样的模型在推理阶段的成本更低尽管训练阶段的效率不是最优的同样的算力其实能获得更优的模型但是模型尺寸也会更大。根据 Scaling Law10B 模型只需要 200B 的数据但是作者发现 7B 的模型性能在 1T 的数据后还能继续提升。所以 LLaMA 工作的重点是训练一系列语言模型通过使用更多的数据让模型在有限推理资源下有最佳的性能。具体而言确定模型尺寸后Scaling Law 给到的只是最优的数据量或者说是一个至少的数据量实际在训练中观察在各个指标上的性能表现只要还在继续增长就可以持续增加训练数据。6、计算量、模型和数据大小的关系推导对于 Decoder-only 的模型计算量C(Flops)模型参数量 N(除去 Embedding 部分)数据大小 D(token 数)三者的关系为: C≈6ND。推导如下记模型的结构为继续推导模型的前向推理的计算量self-attention 部分的计算MLP 部分的计算最后的最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】