【免费下载链接】CLM-v0.1-8B-MLX-5bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/CLM-v0.1-8B-MLX-5bit点击查看免费下载CLM-v0.1-8B-MLX-5bit是运行在 Apple SiliconMLX上的对比语言模型Contrastive Language ModelCLM它不生成文字而是把「状态state」和「候选动作action」编码成向量用相似度打分来回答yes/no、单选、分级评分三类问题。本文将带你快速理解 state/action 概念、三种问题类型和最小运行示例适合第一次接触对比语言模型的新手。一、对比语言模型和普通大模型有什么不同 新手最容易混淆的一点CLM不会聊天、不会续写文章。普通大模型如 Qwen3是「生成式」的给你一句话它一个字一个字往外蹦。而对比语言模型是「判别式」的对比维度普通大模型CLM 对比语言模型工作方式逐词生成文本向量相似度打分输出形式一段文字概率分布true 概率 0.87、选 A 概率 0.62…擅长场景写作、对话分类、判断、排序、打分推理开销长输出很慢一次前向即出结果非常快CLM-v0.1-8B 的结构可以拆成两块详见 README.md冻结的编码器一个 5bit 量化的 Qwen3-8B只负责把文本变成向量不参与生成lm_head已被移除两个小型投影头projection headsstate_head和action_head负责分别把「状态」和「动作」的向量投影到同一个 512 维空间再算余弦相似度。整体流程一句话概括文本 → 编码器出向量 → 投影头压缩 → 算相似度 → softmax 变概率。二、核心概念state状态与 action动作这是理解 CLM 的关键用一个客服例子就明白了。假设客户发来一句抱怨Customer: my invoice was charged twice and nobody answers the phone!这句话就是state状态——当前的上下文/情境。你想判断该由哪个团队处理于是给出两个action动作候选billing账务Charges, invoices, refundstechnical技术Bugs and outagesCLM 会分别把「state 问题」和「每个 action」编码成向量算出相似度分数再转成概率分布。哪个候选的向量离 state 更近概率就越高——这就是对比的由来不是让模型写答案而是让候选们在同一个向量空间里比出最优项。几个值得记住的实现细节向量怎么取取最后一个 token 的最终隐状态L2 归一化见 clm_mlx/encoder.py打分怎么算score scale × cos(state_head(e_s), action_head(e_a))再除温度后做 softmax见 clm_mlx/heads.py为什么快action 的向量会被缓存Engine内置 LRU 缓存同一批候选只算一次之后只对新的 state 收费见 clm_mlx/engine.py三、三种问题类型详解noul / choice / scoreCLM 支持三种「类型化问题」typed questions定义在 clm_mlx/schema.pyQUESTION_TYPES (noul, choice, score)。一次answer()调用可以同时问多个不同类型的问题。3.1 noul —— 是否题yes / no最简单的一类输出true的概率0~1{type: noul, instructions: Is this urgent?} # → 回答形如 {type: noul, noul: 0.87}概率 ≥ 0.5 判为 true否则 false见 label_of。没有给描述时模型会自动把问题本身渲染成 Yes. This is true: … / No. This is false: … 两个候选去对比。3.2 choice —— 单选题criteria是「选项键 → 选项描述」的对象键的顺序就是答案顺序{type: choice, instructions: Which team should handle this?, criteria: {billing: Charges, invoices, refunds, technical: Bugs and outages}} # → 回答含 choice胜出的键、confidence置信度、probabilities完整概率分布组装选项候选文本的规则在 candidates()有描述就用描述没有就用键名本身。3.3 score —— 分级评分题criteria是有序列表表示从轻到重的等级。模型输出的是一个期望分数各等级概率加权和{type: score, instructions: How frustrated is the customer?, criteria: [Calm, Frustrated, Very angry]} # → 回答含 score期望等级如 1.7、confidence、legend等级对照表分数越接近列表末尾说明愤怒程度越高。三种类型的完整答案结构见 answer_from_probs。小提示问题应放在instructions字段里而不是重复写进 state——投影头是按照「上下文在前、问题在后」的固定排版训练的见 build_pairs。四、10分钟上手最小运行示例环境要求Apple Silicon Mac、Python 3.10、约 5 GB 磁盘、运行时约 6 GB 内存建议 16 GB Mac。pip install mlx mlx-lm transformers huggingface_hub然后加载引擎并提问在下载的模型目录内运行from clm_mlx.engine import Engine eng Engine(encoder, heads) out eng.answer( Customer: my invoice was charged twice and nobody answers the phone!, { urgency: {type: noul, instructions: Is this urgent?}, department: {type: choice, instructions: Which team should handle this?, criteria: {billing: Charges, invoices, refunds, technical: Bugs and outages}}, frustration: {type: score, instructions: How frustrated is the customer?, criteria: [Calm, Frustrated, Very angry]}, }, ) print(out[answers][department][choice]) # 胜率最高的选项键 # rank对一组候选文本按相关性排序 print(eng.rank(, [The Moons gravitational pull., Photosynthesis in plants.], What causes tides on Earth?))answer和rank的实现在 clm_mlx/engine.py返回结构与上游 CLM 的 wire format 完全一致方便与官方服务对接。五、仓库里都有什么一分钟看懂目录结构路径内容说明encoder/Qwen3-8B 编码器权重5bit约 5.2 GB标准 MLX 格式lm_head已移除heads/CLM_v0.1-8B.safetensorsstate/action 两个投影头float32为 5bit 量化专门蒸馏重训过heads/config.json投影头结构与logit_scalewidth1536、depth3、输出 512 维clm_mlx/推理代码包Engine/Encoder/HeadPairparity.json与上游参考服务的对齐测试报告778 道类型化问题的对比数据clm_mlx.json导出元信息来源 commit、量化参数、导出日期⚠️ 注意这是社区非官方移植未获 CLM 官方发布或审核方法、投影头与参考实现来自上游 Contrastive-LM/CLM 项目。六、精度与性能新手最关心的两个数字官方用 882 段文本、778 道问题对上游参考服务vLLM 8bitRTX 4090做了对齐测试数据见 parity.jsontop 选项一致率 93.4%当上游自身置信度 ≥70% 时本移植一致率 100%577 题全部一致不一致基本都发生在五五开的临界题上44 题上游自身概率低于 60%性能实测Apple M3 Pro / 18 GB编码器吞吐342.2 tokens/s峰值内存6.0 GB✅新手使用建议模型自信概率明显领先的答案可以放心用接近 50/50 的临界判断建议人工复核。若对上游对齐精度要求更高可考虑官方 8-bit 版本。七、新手常见疑问FAQQ1它能写文章、写代码吗不能。lm_head已被移除该检查点是纯编码器只做特征提取和打分不生成任何文本。Q2为什么叫 5bit有什么代价编码器采用 5bit 量化group_size64把内存压到约 6 GB 才能跑但引入了量化噪声所以精度分级为approximate近似——这也是投影头要为该量化单独蒸馏重训的原因。Q3输入超过 2048 token 会怎样和上游服务行为一致保留前 2048 个 token。如果希望取结尾上游训练时的做法可以用Engine(..., truncationtail)切换见 clm_mlx/encoder.py。Q4state 只能是纯文本吗不是。state 可以是字符串、对象或数组代码会自动渲染成key: value/- item的纯文本形式见 to_text因为投影头是在散文而非 JSON上训练的。八、写在最后CLM-v0.1-8B-MLX-5bit 展示了「不生成、只打分」的模型形态冻结编码器 两个小投影头用 state/action 向量对比代替逐词生成在 Mac 上就能以 342 tokens/s 的速度回答是否题、单选题和分级评分题。理解了 state 与 action 的向量对比思想你就掌握了读懂整个对比语言模型体系的核心钥匙 。完整安装与 API 细节请查阅 README.md对齐测试明细在 parity.json。赞分享【免费下载链接】CLM-v0.1-8B-MLX-5bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/CLM-v0.1-8B-MLX-5bit点击查看免费下载相关推荐OpenTelemetry Collector 部分重载Partial Reload从全量重建到精准组件重启OpenTelemetry Collector 部分重载Partial Reload从全量重建到精准组件重启 本篇技术文章以 Partial ReloadCLM-v0.1-8B-MLX-5bit 代码解读schema.py 如何构建问题候选项格式to_text / candidates / build_pairsCLM v0.1 8B MLX 5bit 代码解读schema.py 如何构建问题候选项格式to_text / candidates / build_paiStitch SDK核心概念详解:Project、Screen、Generation三大模型一图看懂Stitch SDK核心概念详解:Project、Screen、Generation三大模型一图看懂 快速导读 Stitch SDK google/创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考