本文回顾了文本分类模型的演进历程从早期的词袋模型、RNN/CNN到 BERT、GPT 与 T5 等 Transformer 架构并重点解析了近期爆火的 Jev 模型。Jev 模型以其优雅的 API 和在极广任务上的低成本、高效率决策能力成为文本分类领域的“ChatGPT 时刻”。文章还推测了 Jev 模型的架构与“面向校准决策的强化学习RLCD”训练思路探讨了校准、开源复刻与适用人群。最近发布的 Jev AI 模型在过去两周里成了技术圈里一个不小的文化现象。虽然 Jev 的目标是做分类但很容易让人把 Jev 简单地当成“只是一个分类器”而不以为然而我自己对 Jev 的看法在过去几天里也发生了不小的转变。具体来说我的想法从“分类器曾经是我的看家本领我自己也能轻松搭一个”后面再细说变成了“哇它实际效果比我想象的要好”。图 1Jev API 速览稍后会详述。当然最先进的 GPT 和开源权重的 LLM 也能完成和 Jev 相同的那些分类任务而且还具备强得多的通用决策能力。但 Jev 的优势在于它能以更快、更便宜的方式处理这些分类任务。在另一个极端对于一个边界清晰、定义明确的小问题Jev 未必能比专用分类器分类得更好、更快或更省。但它的卖点在于它比那些任务专属模型要通用得多。那么Jev 背后的方法论基于合理推测是什么、它能做什么、又为何如此受欢迎我会在本文后面逐一回答。不过我觉得从一段语言模型用于决策的简史开篇是个不错的起点也希望这能帮大家揭开一些炒作的迷雾看清 Jev 到底擅长什么“Jev 本质上就是一个文本分类器”但“Jev 也并不‘只是’一个文本分类器”。PS我与 Jev 没有任何关联。我也未获得 Jev 的免费使用权限本文也不是产品背书只是一篇技术文章旨在帮助你理解文本分类的历史从而看懂最近的这波热度。由于这是一篇长文我建议在浏览器中阅读这样你可以用到左侧的目录菜单。Transformer 之前的语言建模与分类为了完整起见在把 Jev 放到背景里讨论无意双关之前我觉得按时间顺序从头说起最合理。在这一节我想简要回顾一下基于朴素贝叶斯、逻辑回归以及更经典的深度神经网络的应用型文本分类这些都是在 transformer 模型出现之前的事情。1.1 词袋模型朴素贝叶斯、逻辑回归与 XGBoost回到 15 年前我读研的时候尽管循环神经网络RNN当时已经存在后面再说文本分类通常还是用词袋bag-of-words表示法来做因为它简单直接在中等规模的数据集上就能取得不错的效果。简而言之我们可以把词袋表示法看作一种方法它让长度各异的自由文本输入能够适配那些期望固定大小输入向量的经典分类器如朴素贝叶斯、逻辑回归、SVM、随机森林、XGBoost 等。现实中的热门应用包括从新闻文章分类到垃圾邮件过滤的各种场景。据说Gmail 最初的垃圾邮件过滤器就是用朴素贝叶斯模型加词袋表示法实现的。顺便一提我正好 12 年前写过这方面的文章。那是我最早分享到 arXiv 上的内容之一。图 2我 2014 年的一篇旧教程用词袋模型讲解朴素贝叶斯分类器。那么词袋表示法究竟是什么它是一种把长度不同的自由文本例如训练样本 1“《欧洲特快车》Zentropa是我多年来看过最具原创性的电影。如果你喜欢受黑色电影影响的独特惊悚片那么这正是对当下充斥影院的好莱坞暑期大片的一剂良药。冯·特里尔的后续作品如《破浪》获得了更多赞誉但这才是他真正的巅峰之作。”训练样本 2“这部电影简直糟透了。约翰·瑞特在摔跤卖傻75% 的演员念台词就像在读提词卡剪辑糟糕音效混音也烂透了。”训练样本 3“《欧洲特快车》与《第三个人》有许多共同之处后者是另一部设定在战后欧洲废墟中的黑色电影。”转换成固定大小的表示供上述“经典”分类器使用。上面的例子来自著名的 IMDb 影评分类数据集。图 3词袋表示法示意图。词袋模型首先构建词汇表它包含训练集中所有不重复的词可选地可以去掉所谓的停用词如“a”和“the”这些词在大多数语境下几乎不携带语义信息。词袋表示法通过为词汇表中的每个词在向量中分配一个固定位置从而得到固定大小的输入。然后我们统计每个词在文档中出现的次数。例如如果词汇表有 5 万个不重复的词它就会产生一个包含 5 万个元素的固定大小向量无论输入是只有 10 个词还是 30 万个词。注意大多数元素都是零因为每个文档只包含词汇表中的一小部分词。除了原始词频也有 TF-IDF 之类的归一化方案。然后一旦我们得到了这些词频向量就可以在带标签的训练集上训练一个分类器比如标为垃圾邮件或非垃圾邮件的邮件。例如逻辑回归模型会学习出某些词及词频与特定标签相关的特征权重。比如某些词可能会提高预测的垃圾邮件概率另一些则会降低它。这种方法计算成本低并且当特定词能为标签提供强线索时效果不错。在像垃圾邮件分类这样简单的任务里这通常足以快速得到相当准确的结果。但这种方法最大的缺点之一是由于词袋表示法的特性它丢失了词序。所以例如“狗咬了人”和“人咬了狗”会产生完全相同的向量尽管描述的是不同的事件。也有一些变通办法通过加入词对或更长的序列作为特征来保留部分局部词序称为 n-gram不过这会增加词汇表大小。尽管有这些缺点我仍然认为词袋模型在某些低风险应用中仍有其位置因为它实在太便宜了词袋表示法 逻辑回归依然是我处理每个文本分类问题的首选基线因为它太容易实现了。图 4对想搭建一个简单的逻辑回归分类器的读者我这里有一个教程。该模型达到了 89.9% 的准确率在平衡数据集上。1.2 用于文本分类的深度神经网络前面提到的词袋模型也能配合简单的深度神经网络使用比如多层感知机。但缺点依旧是我们会丢失句子结构和词序。不过更精妙的神经网络架构避开了词袋这种权宜之计卷积神经网络CNN和循环神经网络RNN它们可以直接把词嵌入word embedding作为输入。1.2.1 词嵌入首先在把输入文本喂给模型之前我们必须把它们转换成合适的表示。其中一种表示就是词袋。另一种是词嵌入向量。区别在于词袋向量通过统计每个词汇词出现的次数来表示整段文本而词嵌入则把一个单独的词表示为一个学习得到的稠密数值向量。图 5创建词嵌入示意图。词嵌入的工作原理类似于 LLM 中的嵌入层即把输入 token 转换成稠密向量。嵌入可以发生在模型之外例如两个经典的流行学习方法是 Word2Vec 和 GloVe嵌入层也可以是神经网络架构自身的一部分并在模型训练过程中被学习和微调。这些经典嵌入在查询时是上下文无关的。例如“bank”这个词在“河岸river bank”和“银行账户bank account”中得到的是同一个向量如你所知上下文可以通过注意力等概念来处理。关于嵌入的更多资料下面的内容或许对你有帮助第 2 章处理文本数据这是 LLM 章节但应该能让你领会嵌入词或 token 的要点在 LLM 分词器中我们把词拆成子词 token在 Word2Vec 中1 个词通常就是 1 个 token。理解嵌入层与线性层的区别这篇文章用图示说明了嵌入向量在何种情况下在数学上等价于线性层和矩阵乘法。1.2.2 循环神经网络RNN鉴于你们很多人可能都熟悉循环神经网络RNN这一节我就长话短说。RNN 是自然语言处理中经典的“首选”神经网络架构流行的变体可以追溯到 20 世纪 80 年代和 90 年代初。2017 年提出的 transformer使用了最早在 RNN 中引入的注意力机制参见我的《理解大语言模型》了解简要时间线随后在许多 NLP 应用中逐渐取代了它们。RNN 一次读一个词地处理序列如文本。在每一步它把当前词的嵌入上一节讨论过与前一步的隐藏状态结合起来。我们可以把隐藏状态看作一个固定大小的向量它汇总了到目前为止处理过的文本因此词序就变得重要了因为重排词语会改变状态更新的顺序。图 6RNN 分类器示意图。注意上图展示的是 RNN 的“展开unrolled”表示。也就是说RNN 对每个输入复用同一层堆叠因此得名“循环”。又因为它是“循环”的输入文本可以有任意长度。下图用并排的展开表示说明了这种“循环”。注意两者展示的是完全相同的架构只是可视化方式不同。图 7同一个 RNN 的“循环”与“展开”示意。RNN 的训练一度臭名昭著地困难并且有一些重要的改进比如 1997 年提出的长短期记忆网络LSTM以及 2014 年提出的门控循环单元GRU它们使用学习到的门来控制信息的保留和更新。还有更近的 xLSTM扩展长短期记忆2024 年提出。此外状态空间模型state-space models也受到这种“固定大小隐藏状态顺序更新”思路的启发它比 transformer 的注意力更省资源。然而瓶颈仍然是隐藏状态能保留多少信息而且它仍然必须顺序处理。趣闻注意力最早是为 RNN 开发的早于 transformer 架构的出现但那是另一个故事了我在《理解大语言模型》一文中写过。重点是RNN 可以用来训练文本分类器。回到 IMDb 影评数据集带逻辑回归的词袋分类器在平衡数据集上达到了约 89.9% 的准确率而一个 LSTM RNN 只达到了 85.66% 的准确率。是的RNN 可能更难训练留意下面要讲的 ULMFiT 方法它能把 RNN 训练到高得多的准确率。图 8一个带 LSTM 的简单 RNN 教程。该模型达到了 85.66% 的准确率在平衡数据集上更高的训练准确率表明存在明显的过拟合。注意这个 RNN 是从头训练的。更好的做法是先在更大的数据集上预训练模型再在这个目标数据集上微调经典上我们称之为“迁移学习”。在自然语言处理领域提出这种方法最有影响力的论文之一是 ULMFiT2018它在 IMDb 上取得了令人印象深刻的 95.4% 测试准确率。图 9ULMFiT 论文中的标注图。1.2.3 卷积神经网络CNN你大概是从计算机视觉中认识卷积神经网络CNN的。不过把它用于文本虽然历史上不那么常见但也是可行的。图 10用于图像分类的卷积神经网络CNN示意图。如上图的图像分类示例所示CNN 把学习到的滤波器应用到图像块窗口上。类似地在自然语言领域我们可以把学习到的滤波器应用到相邻词嵌入的窗口上。图 11用于文本分类的 CNN逐步演示。为简洁只画了 1 个滤波器通道。如上图所示一个窗口大小为 3 的卷积滤波器对每一组相邻的三个词使用相同的权重。然后当它滑过输入时每次把滤波器沿“the movie had surprisingly good acting”移动一个词。于是得到四个窗口为简化忽略填充1“the movie had”2“movie had surprisingly”3“had surprisingly good”4“surprisingly good acting”所以在最后一层、分类头之前我们可以把结果展平flatten或做全局最大池化global max pooling再连接到分类头。展平会保留全部信息但会产出大小随文本输入长度而变化的向量。例如如果“the movie had surprisingly good acting”更长我们就会得到更长的特征图。因此为了让它不依赖输入长度全局最大池化在这里是更好的选择。简而言之我们可以把文本 CNN 可视化如下。图 12使用多个滤波器通道的文本分类 CNN。另外好的一点是跨位置的滤波器计算可以并行运行从而避免了 RNN 那种逐步的依赖关系。做个快速对比在上述 IMDb 数据集上我的实验表明这样的 CNN 能达到约 90.07% 的准确率但请注意这在很大程度上取决于架构例如你从计算机视觉语境中可能知道准确率可以有很大差异。例如老牌的 AlexNet 在 ImageNet 上 top-1 准确率约 62.5%而 ConvNeXt V2-H 达到 88.9%。图 13一个被训练来分类 IMDb 影评的 CNN它在这个平衡数据集上达到 90.07% 的准确率。你可以在这里找到源代码。Transformers2017 年原始 transformer 架构在《Attention Is All You Need》论文中被提出。由于这个话题已被我和他人广泛覆盖我将聚焦于与分类相关的方面。不过对注意力机制及其他架构细节感兴趣的读者请参阅我的相关文章关键点是原始 transformer 架构是一个用于语言翻译的编码器-解码器结构但它可以很容易地改造用于文本分类任务我会在接下来的小节中说明。图 14来自《Attention Is All You Need》的原始 transformer 架构。2.1 编码器风格的语言模型我清晰地记得原始 transformer 架构发布后的头几年。那几年几乎被两种不同思路之间的竞争所定义以 BERT 为代表的编码器风格模型主要由 Google 开发以 GPT 为代表的解码器风格模型主要由 OpenAI 开发。编码器风格模型天生就是文本分类器而 GPT 模型由于涌现能力可以做零样本和少样本分类但它们的强项更在生成任务上。不过让我们先从编码器风格模型以及怎样微调并用它们来分类文本说起。无论使用编码器还是解码器风格的 transformer一个通用的方面是我们都在大型文本语料上预训练好的模型上工作而且除了把它们当作零样本或少数样本分类器使用外我们还可以类似于前面 RNN 部分提到的 ULMFiT在目标数据集上微调它们。如下面 BERT 论文2018中的节选图所示BERT/编码器风格模型在第一个位置有一个分类 token[CLS]我们可以很方便地据此进行微调。图 15原始 BERT 论文中的标注图。虽然 BERT 模型远不如自回归的 GPT 风格 transformer 那么流行但幸好仍有人偶尔更新和现代化它们。一个近期例子、也常是我的分类任务首选是 2024 年的 ModernBERT 模型。如下面所示在 IMDb 影评上ModernBERT 只需极少的微调工作量就能达到约 95% 的准确率。☰图 21T5 对原始 transformer 架构的改动。架构图取自《Attention Is All You Need》。现在我们可以像上面其他 RNN、CNN 和 transformer 方法一样使用 T5只需加一个分类头。此外我们也可以训练以让解码器输出类别标签预测如 IMDb 影评数据集情形下的“positive”或“negative”类似于常规 LLM。我们不妨把这种方法称为“文本到文本分类text-to-text classification”。虽然 GPT 风格的 LLM 在海量文本上训练但它们通常开箱即可很好地完成文本到文本分类如前所示为方便起见下图再次插入。图 22用 GPT 模型做文本到文本分类。不过对于 T5通常会进一步微调解码器以便在给定的目标领域做好这类任务。对 T5 来说两种方法都可行。总结如下图 23分类头 vs 文本到文本方法。Jev 概览到目前为止我们见过了大量文本分类的方法从带词袋表示的传统方法如逻辑回归和朴素贝叶斯到提示最新的前沿 LLM如 GPT-6或用分类头或文本到文本分类微调任何开源权重 LLM。起初我几乎把它当成“只是一个分类器”而不以为然那是我为带自然语言输入的训练任务例行构建的东西例如参见我的 AI 检测器文章作为一个近期的公开例子。3.1 Jev 与现有的文本到文本分类不过在继续讨论之前让我们先快速概览一下 Jev。Jev 是 TypeSafe AI 发布的新模型几周前刚刚走出隐身模式并引起大量关注起初看起来有点怪因为它看起来就像一个分类器。Jev 是一个专有模型尽管发布之后涌现了大量快速的开源复刻我们稍后会谈到它使用相对便宜并声称在决策方面与 GPT-5.6 Luna 持平同时速度快几个数量级、成本也低几个数量级图 24来自 TypeSafe AI 博客的基准结果。这里所说的 GPT-Luna可以把它理解为前面讨论过的文本到文本分类方法。那么为何会有这波热度我认为部分原因是它有一个漂亮的 API并且在各种任务上表现都很好因此不需要定制微调。例如我可以用它来给客服工单/邮件分类我做了一个视频版来展示响应时间或者我可以用同一个模型实时玩俄罗斯方块这里我用的是 Choice API也许在深入技术细节之前最简洁的解释方式如下就像 2022 年的 ChatGPT 令人兴奋是因为它是一个能生成各种文本的通用聊天模型技术圈对 Jev 感到兴奋的原因之一是它是分类领域的“ChatGPT 时刻”——它能以很低的成本对各类文本输入分类而不必为每个任务微调一个定制分类器。截至写作时除了创始人之一说它是通过“面向校准决策的强化学习Reinforcement Learning for Calibrated Decisions”训练的之外关于架构和具体训练算法所知甚少稍后会详谈。3.2 Jev 的 API过去几年我们已习惯于把更大、更好、更贵 GPT 风格的 LLM 丢向各种问题而对于目标明确的决策或分类任务像 Jev 这样便宜又快速的方法对大多数人来说可能让人耳目一新。尤其对于那些一次性任务——收集训练数据并微调一个定制 ModernBERT 听起来太繁琐时我们可能就直接丢一个类似 Luna 的模型上去。但除了因其多功能性即在开箱即用的状态下在不同目标领域都表现良好而受欢迎之外Jev 还有一个相当不错的 API我们可以通过终端里的 curl 或它的 Python API 来使用。简而言之主要有如下图所示的三类 API。让我们从 Choice API 开始它便于做多类分类。图 25Jev 的 Choice API。用于多类分类。接下来是 Noul API它更简单会给一个问题分配一个“是yes”的概率。图 26Jev 的 Noul API。用于二分类或多标签分类配合多个 Noul 问题。最后是 Score API它根据一个评分等级下例中为 0、1、2给出分数。图 27Jev 的 Score API。用于序数分类ordinal classification。总结一下不同的 API 及其用例如下。图 28Jev API 速查表。3.3 Jev 分类 IMDb为了让这些 API 更具体并回答 Jev 在上述 IMDb 数据集上可能表现如何这个问题我们可以用 Choice 或 Noul API 来跑它。让我们先用 Choice API。每条影评会按如下格式组织export TYPESAFE_API_KEYYOUR_API_KEY curl -sS https://api.typesafe.ai/v1/systemone / -H Authorization: Bearer $TYPESAFE_API_KEY / -H Content-Type: application/json / -d { model: jev-1.13.0, state: The acting was excellent and the story kept me engaged throughout. I would happily watch this movie again., questions: { sentiment: { type: choice, instructions: What is the overall sentiment of this movie review?, criteria: { negative: An overall unfavorable opinion of the movie, positive: An overall favorable opinion of the movie } } } }这个 Choice API 在我们想为多类这里是二分类问题使用显式标签时很方便。一个实际的响应可能如下{ model: jev-1.13.0, answers: { sentiment: { type: choice, choice: positive, confidence: 1.0, probabilities: { negative: 0.0, positive: 1.0 } } }, usage: { input_tokens: 342, output_tokens: 32 } }除了choice: positive标签我们还得到了这个预测的信心度confidence这在现实应用中非常有用以及每个类别的概率。confidence 字段概括的是概率分布的集中程度。它与分配给胜出类别的概率不同。Jev 的卖点之一是根据文档这些概率是经过良好校准的关于校准稍后会讲。或者我们也可以在这里用 Noul API 来分类影评。使用同样的影评分类语境格式如下curl -sS https://api.typesafe.ai/v1/systemone / -H Authorization: Bearer $TYPESAFE_API_KEY / -H Content-Type: application/json / -d { model: jev-1.13.0, state: The acting was excellent and the story kept me engaged throughout. I would happily watch this movie again., questions: { is_positive: { type: noul, instructions: Does this review express an overall positive opinion of the movie?, criteria: { true: An overall favorable opinion of the movie, false: An overall unfavorable opinion of the movie } } } }而通过 Noul API 得到的答案是{ model: jev-1.13.0, answers: { is_positive: { type: noul, noul: 0.98 } }, usage: { input_tokens: 328, output_tokens: 21 } }有趣的是即便是同一段文本它给出的正类是 0.98 而非 1.0。我们也可以通过对每个类各问一个问题把 Noul API 用于多个类例如“这篇文章是关于金融的吗”“这篇文章是关于政治的吗”“这篇文章是关于技术的吗”这里每个问题彼此独立返回一个概率且这些概率不必加和为 1。所以对于每条文本可带多个标签的多类分类我们可能更偏好 Noul而对于只有一个最终答案的分类问题Choice 则更方便。现在在测试集的 25,000 条影评上用 Choice 或 Noul 跑 Jev得到如下结果Choice准确率 96.47%24,117 条正确总运行时间22 分 24 秒15,456,663 输入 token总成本 $0.6492Noul准确率 96.20%24,050 条正确总运行时间23 分 3 秒15,106,663 输入 token总成本 $0.6345注意Choice 和 Noul 在性能和运行时间上的微小差异可能源于随机波动因为与其他 LLM 类似运行并非完全确定性。例如我在同一测试集上第二次运行了 Choice API得到了略有差异的结果如下所示。图 29重复的 Jev 运行。在大规模服务 LLM 和其他模型时的非确定性很可能是由于依赖于批处理的 GPU 内核执行改变了浮点运算的顺序正如 Horace He 去年一篇不错的博客文章所阐述的。总之结果整体看起来相当不错提醒我们不知道 IMDb 测试集是否包含在训练集中。作为参考一个 ModernBERT 模型花费了23 分钟在训练集上微调7 分钟在测试集上评估。作为对比最好的 ModernBERT 模型准确率相近如下所示我预计通过额外的超参数调优还能再提高 1-2%。注意这是在 DGX Spark 上运行的通过量化和更快的硬件可以获得更快的推理性能。图 30ModernBERT 对比 Jev。但我们的 ModernBERT 模型没法玩俄罗斯方块除非我们为它微调新任务否则它也做不了影评之外的其他事情。不过我们可以丢一个 GPT-5.6 Luna 或 GPT-6 Luna 模型上去会慢一点也更贵。一个经典的经验法则是对一次性决策任务使用便宜的 LLM如 GPT-6 Luna如果我们要反复做这个任务就微调一个定制分类器。现在像 Jev 这样的东西可以取代上述方案从而 a) 相比 Luna 降低延迟、节省开支以及 b) 省去我们微调定制模型的工作。当然如果你有一个超高吞吐量的任务并且想在某个非常具体的任务上最大化速度和准确率微调仍然是有意义的。带 Jev API 的 BERT 与 GPT 风格模型当然我们也可以在ModernBERT 或任何 GPT 风格模型之上加一个 Jev 风格的 API。加一个 Jev 风格的 API 相当直接。事实上Jev 一发布我就搭了一个 Jev 风格的 ModernBERT 模型以展示自己搭一个 Jev 模型有多简单。我后来决定不发布我的 Jev 复刻因为其间我改变了主意。也就是说在 ModernBERT 之上套一个 Jev 风格的 API 是小事一桩在一系列分类任务上微调它也是小事一桩。但要让这个模型在五花八门的任务如俄罗斯方块上都表现良好不经过大量的训练和测试是不行的。况且到现在搭顺风车的快速 Jev 复刻已经够多了世界不需要另一个快速复刻不过当然一个强大的开源权重版本会很好。不过如果你对那样的改造如何运作感兴趣这里给个简要概览。例如我们可以像前面所示给任何 BERT、GPT 或 T5 风格模型加一个 Jev 风格的 Choice API 分类头。但不同于让这个头里的输出节点数匹配类别数我们让它只有一个输出节点如下图所示针对改造后的 GPT 模型。图 31GPT 模型我们把输出层原本映射到整个词汇表替换成一个只有一个节点的输出头。前面我们讨论过针对像影评分类这样、有预定义类别数这里是“positive”和“negative”的特定任务微调这些模型。借助这个“1 个输出节点”的设置我们其实可以把它扩展到灵活、任意数量的类别。要把它扩展到任意数量的类别考虑把客户工单分为“billing账单”、“technical技术”、“account账户”三类的 3 类情形我们可以按如下图示来做。图 32使用一个带 Jev 风格 choice API 的 BERT 或 GPT 风格模型。如上图所示对每个候选选项我们把输入文本、任务指令和该候选的描述喂给模型。分类打分头把输出表示映射到一个标量分数。然后我们对候选分数应用 softmax得到概率分布并返回概率最高的选项。这里的关键点是所提出的头每个类别有 1 个输出。每个类别描述产生自己的表示同一个头通过输出层它本质上就是一个逻辑回归模型对其进行打分其中si是类别标签i的标量分数w是可学习的权重b是可学习的偏置单元hi是分类头之前 transformer 的输出。对于N个候选这会产生N个分数。softmax 随后返回N个概率。学习到的参数w和b在N变化时保持不变。注意对于hiBERT 风格编码器模型使用[CLS]token 的最终隐藏状态可选经过一个池化层GPT 风格自回归模型通常使用最后一个非填充 token 的隐藏状态这是我们因为前面讨论过的自回归特性而需要的最后一个非填充 token 可以注意到前面的文本、指令和候选描述。然后我们针对正确选项用交叉熵损失联合微调模型与打分头。由于所有候选共享同一个打分头我们可以在不改变架构的情况下更改选项的数量和描述。但同样它在陌生任务上表现如何取决于训练数据。顺带一提为什么选 BERT 或 GPT 风格的 transformer 模型而不是前面提到的更简单的 RNN 和 CNN 架构从技术角度看上述方法用哪种都行。但 transformer 模型扩展性极好意味着它们可以在更大的数据集上预训练并比其他模型受益更多。而且它们能很好地利用上下文得益于注意力中提供的信息。所以如果我们想让模型无需对每个目标任务显式微调就能很好地泛化到不同任务在一个高质量数据集上预训练一个 transformer 模型比基于 RNN 或 CNN 的模型更可能让我们接近目标。Jev 的架构与训练算法那么Jev 为何能在这么多不同任务从影评到像玩俄罗斯方块这样任意的任务上都表现这么好“我们构建了一个完全聚焦于自动化的全新技术栈采用新的模型架构、为最大效率而设计的并行采样器以及我们称之为‘面向校准决策的强化学习RLCD’的训练方法。”这个方法并未公开。一个带有类似校准目标的已发表论文方法是 RLCRReinforcement Learning with Calibration Rewards带校准奖励的强化学习来自 2025 年的论文《Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty》。在提供更多细节之前下一节先简要概述校准calibration的一般概念。5.1 关于校准校准并不是一个新话题也是我建议用于任何生产模型的步骤——只要你想要使用和评估类别归属概率。简而言之校准调整模型的概率估计使之更好地匹配观测到的类别频率。例如再次考虑我们的 IMDb 电影分类问题。一个模型可能给某条影评分配 74% 正面、26% 负面。这些是概率估计但模型可能过度自信或不够自信。如果不评估校准我们不能假定这些数值是可靠的。也就是说74% 正面和 54% 正面的预测在 50% 阈值下都会得出“正面”这个类别标签尽管模型在 74% 的情形下表达了更高的置信度。图 34校准如何运作的示意图。校准技术使用一个独立的带标签数据集例如一个留出的验证集来调整这些概率估计。成功校准后在众多被赋予约 74% 正面概率的影评中大约 74% 应该确实是正面的。更多信息我推荐优秀的 scikit-learn 文档。这方面有很多方法。例如我在 AI 检测器项目中用过的一种是温度缩放temperature scaling。温度缩放在应用 softmax 之前把模型的 logits 除以一个温度T值。我们通过在校准数据集上最小化交叉熵损失来学习T一个正数同时保持模型权重固定。大于 1 的温度会降低对最高概率类别的置信度而介于 0 和 1 之间的温度则会提高它。然后我们对新预测使用同一温度。因为这种缩放保留了 logits 的排序所以当我们选择最高概率类别时预测的类别保持不变。5.2 带校准奖励的强化学习RLCRJev 的 RLCD 训练方法仍然是专有的但我们可以讨论的一个相关思路是带校准奖励的强化学习RLCR它出自 2025 年的论文《Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty》。注意两种方法之间并没有官方建立的关联但我假设它们可能有关。带可验证奖励的强化学习RLVR通常以 1 奖励正确答案、以 0 奖励错误答案。简而言之RLCR 为不准确的置信度估计额外增加了一个惩罚。那么在常规 RLVR 方法中奖励R根据答案正确性取 0 或 1为简化这里忽略了可选的格式奖励和长度惩罚。在 RLCR 中模型生成推理和一个答案随后是的不确定分析和数值化置信度q。这个修改后的奖励为其中 对正确答案取 1否则取 0。例如一个错误答案在 90%0.9置信度下得到的奖励为 -0.81因为在 20% 置信度下奖励为 -0.04。而 90% 置信度下的正确答案获得 0.99。熟悉校准模型评估的读者可能注意到平方误差项就是该答案正确的陈述概率的 Brier 惩罚。图 35RLCR 概览。注意同一个此处为 Qwen2.5-7B模型会生成不确定性分析和q作为它响应的一部分。不确定性分析是一段文字评估说明它的答案可能在哪里出错。回答之后模型会检查缺失的证据、含糊的措辞、可疑的假设或可能的推理错误。论文的提示要求它指出具体的不确定性而不是提出修正。此外系统提示明确要求q一个写在标签内、介于 0 和 1 之间的数字。它代表模型对其答案正确的估计概率。系统在同一响应中顺序生成所有这些部分。为说明起见模型的答案可能如下think...reasoning about the question.../think answerpositive/answer analysis The passage mentions a positive movie review, but the connection to the second paragraph is unclear. /analysis confidence0.6/confidence下面论文中的一张标注图说明了它相比带温度缩放的常规 RLVR 如何改善预期校准误差ECE。在 HotpotQA 上相比 RLVRRLCR 把预期校准误差ECE从 0.37 降到 0.03而准确率相近62.1% 对 63.0%。在其余六个数据集上平均 ECE 从 0.46 降到 0.21同时准确率从 53.9% 升到 56.2%。这些是论文表 1(a) 中的结果。图 36来自《Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty》论文的 RLCR 结果。从概念上讲“RLVR Classifier”中的“Classifier”是一个有监督的二分类器预测生成的答案是否正确。对于 Jev我可以把校准奖励直接应用到带类型的决策上而无需生成推理文本。例如我们可以给一个 GPT 风格模型配上 2.2 节所示的分类头并调整 RL 训练目标以奖励准确的决策和校准良好的概率。我们会同时训练主干网络和分类头。这会是一种受 RLCR 启发的改造而 Jev 的 RLCD 是否这样工作仍不清楚。或者由于直接策略优化DPO是相对于基于人类反馈的强化学习RLHF的交叉熵CE替代方案我们也可以直接在分类器的概率上最小化 CE Brier 损失。我在 ModernBERT 模型上这么做了相比常规温度缩放有适度的改善。图 37通过受 RLCR 启发的 Brier 损失优化对 ModernBERT 的改进。↑ 符号表示越高越好。↓ 符号表示越低越好。5.3 旁注校准有必要吗交叉熵本身就已经在鼓励准确的概率估计。在理想条件下这足以在不加额外惩罚的情况下获得校准良好的预测。也就是说用一个类比于影评分类的简单抛硬币例子两个类别是“正面heads”和“反面tails”。如果是一枚有偏的硬币80% 的次数在期望上落地为正面那么真实概率是 80% 正面、20% 反面。在一个有代表性的训练集上当我们优化交叉熵时模型会把它们作为最小化交叉熵负对数似然的副产物而学到。所以简而言之如果模型学到了真实的类别概率它的预测就是校准良好的额外的惩罚也就没必要了。而且 Brier 损失与交叉熵有相同的理论最优值如 Gneiting 和 Raftery 2007 年的《严格恰当评分规则、预测与估计》所述。然而在实践中我们永远无法训练到真实最优在期望上而是只能在有限数据集上训练。所以一旦神经网络正确分类了大多数训练样本它就可以通过变得更加自信进一步降低训练集上的交叉熵。这些置信度估计可能因此在新测试集和新数据上泛化得很差。例如在《论现代神经网络的校准》中Guo 等人2017观察到“神经网络可以在没有过拟合 0/1 损失的情况下对 NLL 过拟合。”这意味着测试准确率可能仍在提升而测试交叉熵却在变差。所以即便分类准确率还在提升过拟合也可能出现在概率估计中。加入 Brier 损失会改变训练过程中预测误差的加权方式。但这是否能改善校准当然需要在留出数据上检验。我实验中的适度改善是这个设置下的经验观察我们不应假设加入 Brier 总会起作用。在我的实验中见上图给交叉熵加上 Brier 损失只带来了非常微小的额外校准收益。但在 RL 语境下动机更直接比如 RLCR 所描述的我们衡量答案正确性却并未已在最小化交叉熵。所以在 RL 语境下Brier 项增加了一个激励在给出答案正确性奖励的同时也报告准确的置信度。Jev 适合谁既然我们已经相当详细地讲过了 Jev那么 Jev 适合谁根据我的评估它的目标受众相当大是两类人的交集a) 不想为每个决策任务都微调一个定制分类器、从而节省时间的人b) 想相比使用 GPT-6 之类“大块头”LLM 来省钱的人。还有很多有趣的用例可以想见。6.1 Jev 用例用例清单似乎无穷无尽。当然有像让它玩俄罗斯方块之类电子游戏这样花哨的例子正如我在前面视频里为展示 API 低延迟所做的那样。不过对大多数人来说邮件分拣是更实际的选择。例如可以把 Jev 用作额外的垃圾邮件过滤器、优先级排序等。但除了这些它也可以作为一种工具用来增强 LLM agent 的调度框架harness。在这里它可以用于常规 LLM agent 调度框架的预筛查器用来扫描上下文中的提示注入prompt injection为模型选择推理强度等级从你注册的技能库中选择一个 skill.md把它当作评估或自我精炼的裁判judge为上下文构建查找相关文件。清单实际上无穷无尽。甚至有人在 arXiv 上发了一篇综述分析了仅仅几天内冒出来的 2,170 个 Jev 相关项目。6.2 关于 Jev 复刻与本地 Jev自 Jev 发布以来涌现了成百上千就算不是上千也有成百个快速的 Jev 复刻。我看过的大多数都只是快速示例用 SFT 微调一个 ModernBERT 或 Qwen 模型再加一个 Jev 风格的 API。据我判断它们在如此广度的任务上没有一个能达到与 Jev 同等的性能水平。把这些项目和 Jev 相比就像把 Alpaca基于原始 LLaMA 开源权重模型、早期做指令微调的 LLM和 GPT-6 相比。当然精神上它可能类似地工作但在真实世界任务上你的实际效果会参差不齐。无意冒犯但它们看起来像是为了蹭热度而快速上马的项目我这里也不想为某一个背书。这里可能的一个例外是 GLiNER 项目它大约 3 年前就有了虽然本质上不完全相同但可用于类似的事情。不过根据一项基准Jev 无疑更强。图 38GLiNER 与 Jev 的对比见 https://github.com/AbdelStark/jev-benchmarks/blob/main/results/reports/btzsc-pilot-v1.md总之对 Jev 一个优质开源权重替代品的真实需求和渴望确实存在。原因不一定是成本因为 Jev 已经很便宜而是隐私。而且如果 Jev 在通过互联网时都已经这么快了想象一下在强劲的本地硬件上会有多快。所以我当然希望 Jev 能有一个 DeepSeek或 Kimi或 GLM或 MiMo那样的时刻。我相信有人在做但这需要一些时间。TypeSafe AI 是用一个专门的专家团队、花了好几个月才做出来的。指望在一周内复刻那种开发和评估工作是不现实的。不过由于这是一个比万亿参数模型更小、更高效的模型本质上希望它不会花那么久。更新 19 月 29 日太平洋时间上午 10:20 OpenAI 刚刚在 DevDay 2026 大会9 月 29 日上宣布了 Decision API。它看起来是一个直接集成到其平台中的、类 Jev 模型。Decision API 通过把 Luna 的智能聚焦于一组特定的、用户自定义、且答案有限且预定义的问题来实现实时决策。开发者用文本或图像提供上下文并取回可用于内容分类、请求路由或选择 agent 下一步动作的答案。今天以有限预览形式开放广泛发布计划在未来几天内。图 39OpenAI 在 OpenAI Dev Day 上宣布的类 Jev 的 Decision API。更新 2 一位读者在下方评论里与我分享了一个 Contrastive Language Models 项目。它是长相比较好看的类 Jev 之一。我试用时它的 IMDb 测试准确率只有 82.90%Jev 超过 96.47%并且它通不过俄罗斯方块测试。另一位读者来信提到了 Laya另一个强劲竞争者。它在 IMDb 上表现更好92.33% 测试准确率但随后在俄罗斯方块测试上败得更惨。所以我的观点仍然成立。有很多可靠的替代品。但让 Jev 如此受欢迎的并不是一个独一无二的想法如前所述分类器早就存在而是它在如此多样化的任务上都表现如此之好这一事实。据称它唯一表现不佳的任务一位读者告诉我是非英语语言的法律审查。但其较弱的多语言表现可以通过接入一个便宜的翻译模型来规避例如 GPT-6 Luna仅带来很小的延迟开销。结语总而言之乍一看Jev 似乎并没有提供任何根本性的新东西。毕竟有人可能会说“它只是一个分类器”上面还套了一个漂亮的 API。然而它在极广的任务范围内出奇地好用。从这个意义上说它是专用分类器的“即插即用”版本。当然专家们仍会微调专用模型但现在要 justify 微调一个专用模型的门槛高得多了因为直接丢一个 Jev 或类 Jev 上去就能得到足够好的结果太容易了。此外我不指望 Jev 和类 Jev 能解锁新能力或解决以前无法解决的任务。不过如果我们把这些模型纳入我们的 agent 调度框架在该框架内辅助昂贵的 GPT-6 或 Opus 5.5 模型做决策那么未来使用 agent 调度框架可能会变得快得多、也便宜得多。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取