一台游戏本、一块4060显卡就能跑通先进的35B参数大模型。当本地推理速度达到28 token/s时你会发现——真正的AI学习其实从第一步就开始了。很多人在学习使用大模型的时候总是会陷入需要买电脑的误区随便一搜索下显卡的价格已经高的离谱了动辄2~3万根本不划算。我也挣扎了很久总算找到一个可行的方法。其实很多人都陷入了一个误区不一定只有高配的电脑才能玩大模型和agent。真正的AI学习不是从搭建集群开始的而是从你的第一台电脑、你的第一个模型开始的。我用一台普通游戏本RTX 4060笔记本8GB显存跑起了Qwen3.6-35B-A3B——一个35B参数的先进大模型。推理速度达到28 token/s。这不是什么黑科技这是LLaMA.cpp KV Cache技术的力量。让我告诉你怎么做。一、8G显存跑35B大模型技术原理与步骤为什么8GB显存能跑35B模型传统认知中35B参数模型需要约70GB的显存FP16精度。但关键在于量化Quantization把FP16量化到INT8甚至INT4显存需求降至约18GBKV Cache技术LLaMA.cpp的turboquant方案支持统一KV Cache 磁盘缓存大幅降低长上下文显存占用混合精度关键层用高精度其余用低精度这就是为什么8GB显存也能跑35B模型——量化KV Cache磁盘缓存三重优化。步骤一安装LLaMA.cppturboquant版# 1. 克隆代码库 git clone https://github.com/TheTom/llama-cpp-turboquant.git cd llama-cpp-turboquant # 2. 安装CMake # 从 https://cmake.org/download/ 下载 cmake-4.3.2-windows-x86_64.msi # 安装Visual Studio 2022 Build Tools # https://visualstudio.microsoft.com/zh-hans/downloads/ # 3. 编译需要CUDA 13 cd /d D:/llama/llama-cpp-turboquant rmdir /s /q build cmake -B build -DGGML_CUDAON -DCMAKE_CUDA_ARCHITECTURES89 cmake --build build --config Release -j编译成功后的文件在D:/llama/llama-cpp-turboquant/build/bin/Release步骤二下载模型# 使用魔塔空间下载推荐 modelscope download --model mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-Compact-GGUF --local_dir D:/llama/models步骤三启动服务将以下内容写入一个bat文件双击执行即可echo off setlocal enabledelayedexpansion :: 请根据实际路径修改以下三个变量 set LLAMA_CPP_DIRD:/llama/llama-cpp-turboquant/build/bin/Release set MODEL_FILED:/llama/models/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-I-Compact.gguf set MMPROJ_FILED:/llama/models/mmproj-BF16.gguf :: 服务参数 set NGLS99 set CTX_SIZE4096 set NP1 set CTK_TYPEq4_0 set CTV_TYPEtq3_0 set SPEC_TYPEdraft-mtp set DRAFT_N_MAX2 :: 启动服务 echo Starting llama-server with Qwen3.6-35B-A3B-MTP... %LLAMA_CPP_DIR%/llama-server.exe ^ -m %MODEL_FILE% ^ --mmproj %MMPROJ_FILE% ^ -c 131072 ^ -np 1 ^ -fa on ^ --embeddings ^ --pooling mean ^ --cache-type-k q8_0 ^ --cache-type-v q8_0 ^ --ctx-checkpoints 64 ^ --checkpoint-every-n-tokens 2048 ^ --cache-prompt ^ --cache-reuse 1 ^ --no-mmap ^ --mlock ^ --kv-unified ^ --cache-ram 8192 ^ --poll 100 ^ --no-perf ^ --no-cache-idle-slots ^ --sleep-idle-seconds -1 ^ --keep -1 ^ -dev CUDA0 ^ --host 0.0.0.0 ^ --port 8080 ^ -b 2048 ^ --ubatch-size 2048 ^ --threads 12 ^ --threads-batch 6 ^ --log-file llama_server_$(date %Y%m%d_%H%M%S)-045.log ^ --reasoning off ^ --metrics echo Server stopped. pause关键优化参数--cache-ram 81928GB显存缓存配合磁盘缓存--kv-unified统一KV Cache--checkpoint-every-n-tokens定期保存检查点支持断点续传--cache-reuse 1复用缓存减少重复计算二、WSL Hermes Agent让AI为你工作模型跑起来了接下来就是让它为你服务了。我选择在Windows环境下使用WSLWindows Subsystem for Linux部署Hermes Agent原因很简单为什么选择WSL Hermes Agent低门槛Windows用户无需安装Linux一条命令搞定无缝衔接Windows的文件系统直接访问WSL中的模型和配置生态兼容Hermes Agent支持企业微信、Telegram等多平台消息集成功能强大定时任务、代码执行、浏览器自动化、文件操作——一个Agent全搞定部署步骤# 1. 安装WSL如果还没装 wsl --install # 2. 在WSL中克隆Hermes Agent这一步需要魔法 git clone https://github.com/nousresearch/hermes-agent.git cd hermes-agent # 3. 安装依赖 pip install -r requirements.txt # 4. 配置LLaMA.cpp API端点 # 编辑config.yaml设置API地址指向你的llama-server配置完成后Hermes Agent就能通过API调用你的本地35B模型——不需要任何云端服务完全离线运行。实际效果在我的笔记本上Hermes Agent通过本地35B模型完成✅ 联网搜索与知识获取✅ 代码编写与调试✅ 定时任务调度✅ 企业微信消息收发✅ ANSYS仿真脚本生成全部在本地完成响应速度28 token/s。另外这篇文章就是使用这套组合生成的三、结语AI学习的第一步很多人认为玩AI需要昂贵的GPU、专业的知识、庞大的团队。但事实是真正的AI学习从你的第一台电脑开始。8GB显存 → 35B模型 → 28 token/s → 24/7在线Agent这不是什么遥不可及的未来这是今天就能做到的事。所以别再等更好的设备、更好的时机了。打开WSL下载模型启动Hermes Agent。你的AI学习之旅从这一刻就开始了。完整命令参考克隆turboquantgit clone https://github.com/TheTom/llama-cpp-turboquant.git编译cmake -B build -DGGML_CUDAON -DCMAKE_CUDA_ARCHITECTURES89 cmake --build build --config Release -j下载模型modelscope download --model mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-Compact-GGUF --local_dir D:/llama/models启动服务见上文bat脚本如果你也尝试过本地部署大模型欢迎在评论区分享你的配置和体验。想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”