1. 旧手机跑大模型这件事到底靠不靠谱手里那台吃灰的旧安卓手机除了换不锈钢盆还能干点啥这个问题我琢磨了很久。直到我把一台骁龙 845 的老机器刷上 OlliteRT让它 7×24 小时跑着一个 7B 参数的量化模型整机功耗稳定在 5W 上下我才意识到——这东西真能当一台低功耗的本地推理服务器用。OlliteRT 是一个开源项目采用 Apache-2.0 协议核心思路是把 Android 设备变成一个本地大模型推理节点。它跟 Ollama 的定位有点像都是让普通人能一键跑起大模型但区别在于Ollama 主要面向 PC 和服务器而 OlliteRT 是冲着 Android 去的。你不需要 root不需要折腾 Termux 里那一堆依赖装个 APK 就能把模型跑起来。数据全程留在手机本地不经过任何外部服务器这对隐私敏感的场景来说是个实打实的优势。这篇文章适合谁看如果你手里有闲置的安卓手机想拿它做点有意思的事如果你对本地大模型部署感兴趣但不想花大价钱买显卡如果你是个 Android 开发者想了解怎么在移动端做模型推理——那这篇内容应该能给你不少参考。我会从硬件选型、部署流程、模型选择、性能调优、实际使用场景这几个维度把整个链路拆开讲清楚。先说结论旧手机跑大模型不是噱头但也不是所有旧手机都行。关键看芯片的 NPU 支持情况、内存大小和散热能力。下面我一步步展开。2. 为什么是 Android 手机而不是树莓派2.1 旧手机的硬件冗余被严重低估很多人第一反应是拿树莓派跑模型但实测下来树莓派 4B 跑 7B 量化模型基本是“能跑但没法用”的状态——推理速度慢到每秒不到 1 个 token而且内存直接吃满。相比之下一台三年前的安卓旗舰比如骁龙 865 或天玑 1200内存普遍 8GB 起步存储 128GB 以上还自带电池和散热模组。这些硬件放在抽屉里是浪费拿来跑推理反而是刚好够用。更关键的是手机 SoC 里的 NPU 和 GPU 在能效比上远超同价位的 x86 小主机。以骁龙 8 Gen 1 为例它的 Hexagon DSP 在做 INT8 量化推理时每瓦性能大概是同代低压 i5 的 3 到 5 倍。这意味着同样跑一个 7B 模型手机可能只需要 5W而小主机要 25W 以上。电费差距一年下来不算多但发热和噪音的差别是实打实的。2.2 OlliteRT 和 Ollama 的定位差异Ollama 的强项在于生态——模型库丰富、命令行友好、社区活跃。但它的底层依赖 llama.cpp 的 CPU 推理路径在 ARM 设备上虽然能编译但没针对 Android 的 NNAPI 或 GPU 做深度优化。OlliteRT 不一样它直接调用 Android 的 NNAPINeural Networks API和 Vulkan 计算着色器把推理负载分配到 NPU 和 GPU 上CPU 只做调度和轻量计算。这个架构差异带来的性能差距在移动端是数量级的。另外Ollama 在 Android 上跑需要 Termux 环境配置过程对普通用户来说门槛不低。OlliteRT 是原生 APK安装完打开就能选模型、加载、推理整个交互跟用普通 App 没区别。这个易用性上的优势决定了它更适合“把旧手机变成家用推理节点”这个场景。2.3 5W 功耗意味着什么5W 是什么概念一台普通家用路由器的工作功耗大概在 6 到 10W一个智能音箱待机也要 3 到 5W。也就是说你用旧手机跑大模型功耗跟多开一个路由器差不多。按 5W 满负荷、一天 24 小时算一个月耗电 3.6 度按居民电价不到两块钱。这个成本几乎可以忽略不计。但要注意5W 是推理时的典型功耗不是峰值。如果模型加载到内存后频繁触发 NPU 满负荷瞬时功耗可能冲到 8 到 10W。不过手机有电池缓冲实际从插座取电的功率会被平滑掉。我实测用功率计看长时间推理时插座端功率稳定在 4.8 到 5.5W 之间波动很小。3. 硬件选型的硬指标哪些旧手机能跑哪些直接放弃3.1 芯片平台的支持情况不是所有安卓手机都能跑 OlliteRT。核心门槛在于 NNAPI 的版本和厂商实现。Android 8.1 开始引入 NNAPI但早期版本只支持有限的算子跑大模型会频繁回退到 CPU。真正能用的是 Android 10 及以上且芯片厂商对 NNAPI 做了较完整实现的设备。从实测来看以下几类芯片支持较好芯片平台NNAPI 支持推荐内存实测 7B Q4 推理速度骁龙 855/865/870完整8GB8-12 token/s骁龙 888/8 Gen 1完整8GB12-18 token/s天玑 1000/1200较好8GB6-10 token/s麒麟 990/9000部分8GB5-8 token/s骁龙 7 系列部分6GB3-6 token/s骁龙 6 系列及以下差-不推荐这个表格是基于我手头几台设备和社区反馈整理的不是官方数据。实际速度还受散热、后台进程、模型量化方式影响。3.2 内存是硬门槛7B 参数的模型即使用 Q4_K_M 量化权重文件也在 4GB 左右。推理时还需要额外的 KV Cache 和运行时内存总共至少需要 6GB 可用内存。如果手机标称 8GB系统占掉 2 到 3GB实际可用可能只有 5GB 出头跑起来会很吃力。所以我的建议是8GB 起步12GB 更稳。如果只有 6GB 内存可以考虑 3B 或 1.5B 的小模型比如 Qwen2.5-3B 或 Gemma-2-2B。这些模型在 Q4 量化下权重只有 1.5 到 2GB6GB 设备能跑但速度会慢一些大概 3 到 5 token/s。3.3 散热和供电的隐藏坑旧手机跑推理最大的敌人不是性能是散热。手机 SoC 的散热设计是按短时爆发考虑的持续满载推理会让温度迅速爬到 45 度以上然后触发降频。降频后速度可能直接腰斩。我试过一台骁龙 865 的机器裸机跑 10 分钟后速度从 12 token/s 掉到 6 token/s加了个几十块钱的半导体散热背夹后能稳定在 10 token/s 以上。供电方面虽然手机有电池但长期插电使用会让电池一直处于满电高温状态加速老化。如果打算 7×24 小时跑建议把电池拆掉直接用稳压电源供电或者至少把充电上限设到 60%。有些机型支持“旁路供电”模式插电时直接给主板供电而不经过电池这个功能对长期运行很友好。4. 从零部署OlliteRT 的安装和模型加载4.1 获取和安装 APKOlliteRT 的代码托管在开源仓库Apache-2.0 协议意味着你可以自由使用、修改、分发。安装包可以从项目的 Release 页面下载也可以自己用 Android Studio 编译。自己编译的话需要 Android SDK 和 NDKNDK 版本建议用 r25 或以上因为底层推理引擎依赖较新的 C 运行时。安装前注意两点一是手机需要允许“安装未知来源应用”二是如果之前装过其他版本建议先卸载再装避免签名冲突。安装完成后打开 App它会请求存储权限和网络权限。存储权限用于读取模型文件网络权限只在下载模型时用到推理过程完全离线。4.2 模型文件的准备和放置OlliteRT 支持 GGUF 格式的模型文件这是 llama.cpp 生态的标准格式。你可以从 Hugging Face 或国内镜像站下载量化好的 GGUF 文件。推荐从 Q4_K_M 量化开始这个精度和体积的平衡最好。下载完成后把 .gguf 文件放到手机存储的OlliteRT/models/目录下。如果没有这个目录手动建一个。App 启动后会自动扫描这个目录列出所有可用模型。点击模型名称即可加载加载时间取决于模型大小和存储速度7B Q4 大概需要 10 到 20 秒。注意模型文件名不要包含中文或特殊字符否则可能出现加载失败。建议用纯英文和数字命名比如qwen2.5-7b-instruct-q4_k_m.gguf。4.3 推理参数怎么调加载模型后App 会显示一个参数面板。几个关键参数需要根据设备情况调整上下文长度Context Length默认 2048如果内存充足可以调到 4096。但注意上下文越长KV Cache 占用越大7B 模型在 4096 上下文下KV Cache 可能吃掉 1GB 以上内存。线程数Threads建议设为 CPU 大核数量比如骁龙 865 有 4 个大核就设 4。设太多会导致线程调度开销反而变慢。批处理大小Batch Size默认 512如果推理时出现卡顿可以降到 256 或 128。GPU 层数GPU Layers这个参数决定有多少层跑在 GPU 上。OlliteRT 支持 Vulkan 后端把部分层 offload 到 GPU 能显著提速。建议从 10 层开始试逐步增加直到速度不再提升或出现显存不足。我实测在骁龙 865 上7B Q4 模型GPU 层数设 20上下文 2048线程 4能跑到 11 token/s 左右。如果把 GPU 层数拉到 28全部层速度能到 14 token/s但发热明显增加。5. 模型选择的实战逻辑不是越大越好5.1 7B 是甜点3B 是保底在旧手机上跑模型参数量的选择比 PC 上更敏感。7B 模型在 Q4 量化下推理速度和质量比较平衡适合大多数场景。但如果你的设备是 6GB 内存或芯片较老3B 模型是更务实的选择。Qwen2.5-3B 在中文任务上的表现相当不错日常问答、文本摘要、简单翻译都能胜任。1.5B 及以下的模型除非你只是想做演示或测试否则不太推荐。这类模型在复杂任务上容易胡言乱语实用性有限。5.2 量化等级怎么选GGUF 格式有多种量化等级从 Q2 到 Q8数字越大精度越高、体积越大。在手机上Q4_K_M 是公认的甜点。Q3 和 Q2 虽然体积更小但精度损失明显模型容易变“傻”。Q5 和 Q6 精度更好但体积和内存占用也上去了7B Q5 大概 5GB 左右8GB 内存的设备跑起来会比较紧张。我的建议是8GB 内存选 Q4_K_M12GB 内存可以试 Q5_K_M6GB 内存老老实实跑 3B Q4。5.3 中文模型和英文模型的取舍如果你主要用中文优先选 Qwen 系列或 Yi 系列这些模型的中文语料占比高表达更自然。英文任务为主的话Llama 3.1 或 Gemma 2 是不错的选择。注意有些模型虽然支持中文但训练语料里中文占比低回答中文问题时会出现“翻译腔”或语法错误。我试过在同一个问题上对比 Qwen2.5-7B 和 Llama-3.1-8B前者在中文回答的流畅度和准确性上明显更好。所以模型选择要跟你的实际使用场景匹配不要盲目追新追大。6. 实际使用场景这台 5W 服务器能干什么6.1 家庭内网的知识库问答把旧手机连上家里的 Wi-Fi跑一个本地模型再配合一个简单的 RAG检索增强生成前端就能搭一个家庭知识库。比如把家里的说明书、保修单、常用联系人信息整理成文本让模型来回答“洗衣机怎么调快洗模式”这类问题。所有数据都在本地不用担心隐私泄露。这个场景对推理速度要求不高5 到 10 token/s 完全够用。关键是模型要能准确理解你的问题所以 7B 模型比 3B 更合适。6.2 开发者的本地代码助手如果你是个开发者可以在旧手机上跑一个代码模型比如 DeepSeek-Coder 或 CodeQwen 的量化版然后通过局域网 API 调用。OlliteRT 提供了兼容 OpenAI 格式的 API 接口默认监听 8080 端口。你可以在电脑上的 IDE 里配置这个 API 地址就能获得代码补全和解释功能。这个场景对延迟比较敏感建议用 3B 或 7B 的代码专用模型并且把 GPU 层数拉满。实测在骁龙 8 Gen 1 上7B 代码模型能跑到 15 token/s 左右补全体验还算流畅。6.3 离线环境下的文本处理如果你经常在没网的环境下工作比如出差、野外作业旧手机跑本地模型就是个刚需。文本摘要、翻译、格式转换这些任务不需要联网就能完成。而且手机自带电池断网断电也能撑几个小时。这个场景下建议把常用模型提前下载好并且把 App 设为“后台常驻”避免被系统杀掉进程。Android 的电池优化策略比较激进需要在设置里把 OlliteRT 加入白名单。7. 性能调优和常见问题排查7.1 速度上不去的几个原因如果你发现推理速度远低于预期按这个顺序排查检查 GPU 层数是否设得太低默认可能是 0全部跑在 CPU 上。逐步增加 GPU 层数观察速度变化。检查后台进程旧手机上可能有一堆 App 在后台跑吃掉内存和 CPU。建议开飞行模式关掉所有不必要的后台应用。检查散热如果手机发烫大概率在降频。加个散热背夹或者把手机放在通风处。检查模型量化等级Q2 或 Q3 的模型虽然小但推理时可能需要更多计算来补偿精度速度不一定比 Q4 快。7.2 加载失败和闪退的处理模型加载失败最常见的原因是文件损坏或格式不兼容。先确认 GGUF 文件的完整性可以用sha256sum校验。如果文件没问题检查 OlliteRT 版本是否支持该模型的架构。有些新模型用了新的算子旧版 App 可能不支持需要升级到最新版。闪退的话先看日志。OlliteRT 在Android/data/com.ollitert/files/logs/目录下会写运行日志里面通常有具体的错误信息。常见的有内存不足OOM、NNAPI 初始化失败、Vulkan 驱动不兼容等。内存不足就换小模型NNAPI 失败就关掉 NNAPI 回退到 CPUVulkan 不兼容就减少 GPU 层数或关掉 GPU 加速。7.3 长期运行的稳定性建议如果你打算让旧手机 7×24 小时跑有几个设置必须做关闭电池优化在系统设置里把 OlliteRT 设为“不受限制”否则系统会在息屏后杀掉进程。设置充电上限如果系统支持把充电上限设到 60% 到 80%延缓电池老化。定期重启Android 长时间运行后内存碎片会增多建议每周重启一次 App 或手机。监控温度装个温度监控 App如果 SoC 温度长期超过 60 度要考虑加强散热或降低负载。8. 我个人在实际操作中的几点体会折腾了几个月把三台旧手机都刷上了 OlliteRT最大的感受是这件事的门槛比想象中低但坑比想象中多。硬件选型阶段最容易踩坑有些手机标称支持 NNAPI实际跑起来算子兼容性一塌糊涂只能回退 CPU。所以如果你打算入手二手旧手机专门跑这个建议先查一下社区里有没有同机型的成功案例。另一个体会是散热投入不能省。几十块钱的散热背夹带来的性能提升可能比换一台更新款的手机还明显。我有一台骁龙 855 的机器加了散热之后7B 模型的速度从 6 token/s 提升到 10 token/s这个提升幅度相当可观。最后分享一个小技巧如果你有多台旧手机可以把它们组成一个推理集群用 OlliteRT 的 API 做负载均衡。虽然单台性能有限但几台加起来并发处理能力就上来了。这个方案适合家庭或小团队内部使用成本极低而且数据完全可控。