ODS macOS安装指南Apple Silicon用Metal加速跑本地大模型【免费下载链接】ODSTurn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.项目地址: https://gitcode.com/GitHub_Trending/dr/ODSODSOpen Desktop Stack是一款开源的本地 AI 服务器方案一条命令即可把 Mac 变身 AI 工作站LLM 推理、聊天界面、语音、智能体、工作流、RAG 与图像生成一站配齐。在 macOS 上ODS 的 llama-server 以原生 arm64 二进制运行直接调用Apple Silicon 的 Metal GPU 加速无需 CUDA本地大模型推理又快又省心。⚡ 适合人群拥有 M1/M2/M3/M4 芯片的 Mac 用户想免费、离线、隐私安全地跑本地大模型。安装前准备硬件与软件要求清单安装前请先对照以下要求避免中途卡住项目最低要求推荐配置芯片Apple SiliconM1/M2/M3/M4 及以上M2 及以上统一内存8 GB16 GB 以上磁盘空间20 GB模型 Docker 镜像30 GB 以上DockerDocker Desktop 4.20 并已启动保持菜单栏鲸鱼图标常亮 注意Intel 版 Mac 不受支持ODS macOS 版要求 arm64 架构。ODS macOS 一键安装步骤打开终端Terminal执行以下三行命令即可完成安装git clone https://gitcode.com/GitHub_Trending/dr/ODS cd ODS/ods ./install.sh安装脚本入口为 install.sh它会自动分发给 macOS 专用安装器installers/macos/install-macos.sh。整个过程大约5–15 分钟取决于网速脚本会自动完成 6 件事识别芯片— 检测 Apple Silicon 型号与统一内存大小挑选模型— 按你的内存自动选择最优模型规格⚡下载 llama-server— 原生 arm64 二进制内置 Metal GPU 加速下载模型— 与你硬件匹配的 GGUF 模型文件启动 Docker 服务— 聊天 UI、搜索、工作流、语音等安装 OpenCode— 浏览器 AI 编程 IDE端口 3003如果安装过程中提示需要 Bash 4macOS 自带 Bash 3.2脚本会提示你通过 Homebrew 安装一次新版 Bash 后自动继续无需手动折腾。安装后打开聊天界面与管理面板安装完成后在浏览器中访问聊天界面Chat UIhttp://localhost:3000管理面板Dashboardhttp://localhost:3001OpenCode 编程 IDEhttp://localhost:3003默认的 loopback 本地安装会直接打开聊天界面无需注册账号若配置了网络绑定或 ODS 代理模式则保留登录认证首位用户需创建管理员账号。统一内存自动分级8GB 到 64GB 都能跑安装器会根据统一内存自动匹配模型档位无需手动调参统一内存档位自动选择的模型上下文长度8–24 GBTier 1Qwen3.5 4B (Q4_K_M)16K32 GBTier 2Qwen3.5 9B (Q4_K_M)32K48 GBTier 3Qwen3 30B-A3B (MoE)32K64 GB 以上Tier 4Qwen3 30B-A3B (MoE)128K想手动指定档位时可用./install.sh --tier 3这样的参数覆盖自动选择。架构揭秘Metal 原生推理 Docker 服务协同ODS 在 Mac 上的分工非常清晰llama-server以原生方式运行在 macOS 上独占 Metal GPU 算力这是推理性能的关键OpenCode原生 LaunchAgent 常驻的 Web IDEDocker Desktop容器承载其余服务Open WebUI3000、Dashboard3001、LiteLLM 网关4000、n8n 工作流5678、Qdrant 向量库6333、SearXNG 搜索8888、Perplexica 深度研究3004、Hermes 智能体9120、Whisper 语音转文字9000、Kokoro 语音合成8880等容器通过host.docker.internal:8080访问宿主机的 llama-server架构定义可见 installers/macos/docker-compose.macos.yml 与 docker-compose.apple.yml。日常运维ods-macos.sh 常用管理命令所有服务的启停与查看一条命令搞定CLI 位于~/ods/ods-macos.sh源码在installers/macos/ods-macos.sh./ods-macos.sh status # 查看所有服务健康状态 ./ods-macos.sh start # 启动全部服务 ./ods-macos.sh stop # 停止全部服务 ./ods-macos.sh restart # 重启全部服务 ./ods-macos.sh logs llama-server # 查看推理引擎日志 安装后的关键文件位置配置在~/ods/.env模型在~/ods/data/models/llama-server 二进制在~/ods/llama-server/。常见问题快速排查Troubleshooting问题解决方法提示 Docker not running启动 Docker Desktop等菜单栏鲸鱼图标稳定后再装提示 Not Apple SiliconIntel Mac 不支持需 arm64Apple Silicon机型提示 Port in use用lsof -i :8080找出占用端口的进程并关闭llama-server 崩溃通常是模型对可用内存过大考虑降档--tierDocker 服务首次启动慢首次拉取镜像约 10 GB之后启动很快TEI 嵌入容器反复重启arm64 下经 Rosetta 2 模拟运行属正常现象耐心等待约 1 分钟更多排错细节可参考 docs/TROUBLESHOOTING.md 和 docs/INSTALL-TROUBLESHOOTING.md。macOS 版已知限制心里有数不踩坑ComfyUI 图像生成不可用依赖 NVIDIA GPU 后端 Dashboard 的 GPU 信息显示为 UnknownMetal 无法被 Linux 容器识别 TEI 嵌入模型运行在 Rosetta 2 模拟下可用但比原生略慢写在最后一条命令、一杯咖啡的时间你的 Mac 就能拥有一台完全离线、数据不出门的本地 AI 服务器。Metal 加速让 8GB 内存的 MacBook 也能流畅对话64GB 的 M 系列机型则可畅跑 30B 级 MoE 大模型。完整平台支持情况见 docs/SUPPORT-MATRIX.md模型管理与切换可进一步阅读 docs/MODEL-MANAGEMENT.md。祝玩得开心【免费下载链接】ODSTurn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.项目地址: https://gitcode.com/GitHub_Trending/dr/ODS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考