资讯动态

35B总参数只激活3B:Ornith这只“偷工减料“的AI小鸟,凭什么跑得又快又强?

发布时间:2026/10/30 2:27:49 来源:尧图企业网站定制
35B总参数只激活3BOrnith这只偷工减料的AI小鸟凭什么跑得又快又强最近AI圈被一只小鸟刷屏了——开源的Ornith-1.5系列大模型从9B到397B一口气发了三个版本最大号的甚至放话要叫板Claude Opus 4.8量化版还能塞进iPhone 17里跑。但真正让懂行的人拍案叫绝的是中间这个35B-A3B的版本它肚子里明明装着350亿个参数可每次回答问题时真正被叫起来干活的只有大约30亿个连十分之一都不到。等等偷工减料还能更快更强这背后的秘密值得咱们掰开揉碎聊一聊。一、先搞明白AI模型里的参数到底是个啥你可以把参数想象成AI大脑里的知识神经元——参数越多理论上懂得越多、越聪明但动起来也越费电、越慢。以前的大模型大多是稠密型的什么意思呢就是它思考问题的时候350亿个参数全体出动、一个不落像是一家公司开会不管大事小事全员几百号人都得列席效率能高到哪去所以大家一直有个朴素的认知想要更聪明的AI就得堆参数参数一多普通人的电脑就跑不动了只有大厂才玩得起。直到混合专家MoE这种架构出现局面才被打破。二、所谓偷工减料其实是学会了按需点将拿Ornith-1.5-35B-A3B来说它就像开了一家拥有35位各科专家的大医院。病人来看病它不会傻乎乎地把35位专家全叫来会诊而是先快速判断你这是感冒还是骨折然后只喊最对口的2~3位专家过来看完病、开完药其他人继续待命。这套谁专业谁来的机制就是稀疏激活也就是MoE混合专家的核心思路。Ornith-1.5-35B-A3B每次推理只激活约3B参数意味着它干活时消耗的算力相当于一个30亿参数小模型的量级——可它脑容量又是实打实的350亿。小模型的成本大模型的智慧这就是它最心机的地方。三、省下的算力都换成了快和强先说快。社区里有玩家用16G显存的显卡实测对比Ornith 35B的推理速度比同尺寸的Qwen 35B还要快上一截出字更利索、响应更跟手。因为你只让3B参数干活计算量小了自然跑得飞快。再说省。过去想本地跑35B级别的大模型没个大几十G显存想都别想。现在凭借只激活3B的设计加上GGUF量化压缩16G显存甚至普通Mac都能跑起来无数玩家在社区里晒出了本地部署成功截图——这对隐私敏感、又不想给云端AI喂数据的朋友来说简直是福音。最后说强这才是最反直觉的地方。在权威的编程能力测试里Ornith-1.5-35B-A3B拿到了SWE-bench Verified79分而同规模的Qwen 3.6-35B-A3B只有73.4分传统大模型Gemma-4-31B更是只有52分在终端操作测试中它拿下67.8分把对手52.5分甩开一大截在DeepSWE这种自己动手改真实项目的硬核测试里它拿了22分而竞品直接挂零。没怎么出力的它反而把全员出动的对手按在地上摩擦。知识都在脑子里只是学会了精准调用而已。四、天上不会白掉馅饼它也有贵的地方当然偷工减料也不是没有代价。最大的代价在于虽然每次只算3B但35B的家当得全部装进内存里。就好比医院虽然每次只派3位专家出诊但35位专家的办公室、工资、设备都得养着。所以Ornith-1.5-35B-A3B的原版模型体积不小大约70GB想全精度跑起来官方建议还是得两台80G显存的显卡伺候着。不过别慌好消息是GGUF量化版已经把门槛砍了一大截——一张主流游戏显卡甚至内存大点的电脑就能把它请回家这也是咱们普通人能玩转它的关键。五、普通人怎么上手门槛高不高老实说它确实更偏技术宅的玩具——毕竟这模型最擅长的不是陪你聊天而是干活写代码、改bug、操作电脑、多步骤任务规划属于数字员工型选手。上手方式也够简单粗暴用Ollama这类一键工具一条命令就能下载并跑起来连代码都不用写手头有16G显存显卡或Mac的朋友社区里已经有人跑通了跟着教程照做就行想更省事还有各种本地AI助手软件直接集成它装好即用。如果你是程序员、AI发烧友或者自媒体创作者想在本地拥有一个不联网、不泄露隐私、随叫随到的编程助手这只小鸟绝对值得一试。六、写在最后回到开头那个问题35B总参数只激活3B到底是偷工减料还是更聪明的花钱方式其实答案已经摆在眼前——稀疏激活不是偷懒而是学会了把钱花在刀刃上。它让小算力跑大模型从梦想变成现实也让AI从云端大厂的专属品一步步走向普通人的电脑甚至手机。更让人期待的是Ornith团队还透露这套自我进化的训练机制AI自己出题、自己练手、自己变强。照这个趋势下去明年会不会连手机上的AI都能写出一整个项目最后抛个话题你觉得干得少、跑得快、还更强的AI是技术真进步还是营销噱头欢迎来评论区聊聊你的看法顺便说说你希望这样的本地AI帮你干点啥。创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑