资讯动态

第一期:安装部署与模型管理(让本地大模型跑起来)

发布时间:2026/10/30 5:00:06 来源:尧图企业网站定制
目标在 Windows/macOS/Linux 上装好 Ollama拉取一个中文模型用终端完成第一次对话并理解模型大小与硬件的关系。Ollama 的核心价值是降低本地运行开源大模型的门槛一条命令完成模型拉取和启动数据完全留在本机断网也能用并且原生兼容 OpenAI API 风格后续接入代码几乎不用改原有逻辑。1. 全平台安装Windows 和 macOS 用户直接去官网下载安装包双击运行后系统托盘会出现 Ollama 图标后台服务自动启动。Linux 用户用官方脚本一行搞定bashcurl -fsSL https://ollama.com/install.sh | sh安装后验证版本bashollama --version如果提示command not found检查/usr/local/bin是否在 PATH 中。2. 模型选型与硬件对应模型参数越大推理能力越强但内存和显存消耗也越大。参考对应关系内存可流畅运行的模型规模典型场景8GB7B/8B 量化版日常问答、翻译、简单脚本16GB8B–14B中等文档处理、代码辅助32GB32B复杂推理、长文本理解模型文件磁盘占用7B 量化版约 4–5GB14B 约 8–10GB32B 可达 20GB 以上。如果 C 盘紧张Windows 在设置中修改 Model location或设置环境变量OLLAMA_MODELS指向其他盘改完需完全退出托盘程序再重启。3. 拉取模型并运行以中文场景常用的 Qwen2.5 为例bashollama pull qwen2.5:7b ollama run qwen2.5:7b进入交互界面后直接打字提问退出输入/bye。首次运行会自动下载权重之后重复运行不会再次下载。4. 常用管理命令bashollama list # 查看已下载模型 ollama show qwen2.5:7b # 查看模型信息参数量、量化等级、上下文长度 ollama rm qwen2.5:7b # 删除模型释放磁盘github.0voice

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑