大模型本地部署多模态AI Agent人工智能【免费下载链接】Fara1.5-4B-OptiQ-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Fara1.5-4B-OptiQ-4bit点击查看免费下载Fara1.5-4B-OptiQ-4bit 是 Fara1.5-4B 的 MLX 混合 4/8-bit 量化版视觉语言模型可在 Apple Silicon 上本地运行并暴露OpenAI 兼容 APIhttp://localhost:8000/v1几行代码即可让应用具备看懂截图 操控网页的 computer-use 能力无需任何云端服务。1️⃣ 动手前先了解这个模型能干什么Fara1.5-4B-OptiQ-4bit 基于 Qwen3.5 架构Qwen3_5ForConditionalGeneration见 config.json定位为computer-use / web-agent 视觉模型既能聊天也能接收屏幕截图、理解界面并给出操作建议适合做 GUI 自动化、网页代理、截图问答等场景。几个对开发者重要的参数特性数值说明量化方式混合 4/8-bit75 个模块 8-bit 173 个模块 4-bitoptiq_metadata.json实际位宽5.31 bit/weight显存/内存占用大幅降低权重体积约 3.9 GB磁盘总大小 3.53 GBmodel.safetensors.index.json上下文长度262,144 tokens见 tokenizer_config.json视觉塔bf16 独立存放optiq/optiq_vision.safetensors仓库内关键文件速查model.safetensors语言模型权重混合精度量化后optiq/optiq_vision.safetensors视觉塔权重走视觉路径时必需optiq_metadata.json逐层 4/8-bit 分配记录kv_config.jsonKV Cache 量化配置8 层注意力层的位宽分配chat_template.jinja聊天模板内置工具调用tools格式generation_config.json生成参数eos 等 该模型支持两类加载方式mlx-optiq文本 视觉 MTP 全功能和 mlx-lm仅文本。想跑截图输入路径请优先使用带视觉支持的加载方式。2️⃣ 30 秒启动 OpenAI 兼容服务步骤 1安装服务工具pip install -U optiq步骤 2一键启动optiq serve --model mlx-community/Fara1.5-4B-OptiQ-4bit步骤 3验证端点curl http://localhost:8000/v1/models如果返回了模型列表说明服务已就绪API 基址为http://localhost:8000/v1。如果希望使用本地仓库部署离线环境或自定义目录可先克隆仓库再把--model指向本地路径git clone https://gitcode.com/hf_mirrors/mlx-community/Fara1.5-4B-OptiQ-4bit optiq serve --model Fara1.5-4B-OptiQ-4bit # 指向克隆下来的本地目录3️⃣ 第一条文本对话发送 Chat Completions 请求请求结构与 OpenAI 官方接口完全一致/v1/chat/completions直接可用curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: mlx-community/Fara1.5-4B-OptiQ-4bit, messages: [ {role: system, content: 你是一个简洁的助手}, {role: user, content: 用一句话介绍你自己} ], temperature: 0.7, max_tokens: 512 }响应同样是标准的choices[0].message.content结构方便你直接解析。4️⃣ 接入你自己的代码OpenAI SDK 只需改 base_url如果你已有基于 OpenAI SDK 的代码只需替换base_url其余逻辑几乎不用动from openai import OpenAI client OpenAI( base_urlhttp://localhost:8000/v1, api_keyEMPTY # 本地服务不校验鉴权时填占位字符串即可 ) resp client.chat.completions.create( modelmlx-community/Fara1.5-4B-OptiQ-4bit, messages[{role: user, content: 帮我总结这个网页的结构}], ) print(resp.choices[0].message.content)说明api_key是 SDK 的必填参数本地服务如不校验鉴权传任意占位字符串即可。5️⃣ 核心能力把截图发给模型走 computer-use 视觉路径Fara1.5 的招牌能力是看图操作界面。在消息的content数组中加入image_url部分即可触发视觉路径{ model: mlx-community/Fara1.5-4B-OptiQ-4bit, messages: [ { role: user, content: [ {type: text, text: 看这张桌面截图告诉我下一步该点击哪里}, {type: image_url, image_url: {url: data:image/png;base64,截图的Base64}} ] } ] }几个实用要点image_url.url支持网络图片地址或data:image/...;base64,...形式的 Base64 数据本地截图建议用 Base64 内嵌省去额外服务聊天模板会自动把图片渲染为视觉 token注意system 消息中不能包含图片chat_template.jinja图像分辨率建议在min_pixels约 3.1K到max_pixels约 12.8M之间见 tokenizer_config.json6️⃣ 进阶用法流式输出与常用参数参数作用建议值stream开启 SSE 流式输出逐 token 返回前端展示场景设truetemperature采样温度问答 0.3~0.7写作用 0.7max_tokens最大生成长度按业务截断避免跑满上下文top_p核采样与 temperature 二选一调节stop停止词可填 [赞分享大模型本地部署多模态AI Agent人工智能【免费下载链接】Fara1.5-4B-OptiQ-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Fara1.5-4B-OptiQ-4bit点击查看免费下载相关推荐OpenAI 兼容接口玩转 Fara1.5-27B-OptiQ-4bitimage_url 视觉输入与本地 AI 智能体调用完整指南OpenAI 兼容接口玩转 Fara1.5 27B OptiQ 4bitimage_url 视觉输入与本地 AI 智能体调用完整指南 Fara1.5 27B人工智能大模型基础模型多模态计算机视觉AI Agent如何把InternVL2_5-8B-AWQ变成OpenAI兼容API多模态模型接入现有应用的完整指南如何把InternVL2_5 8B AWQ变成OpenAI兼容API多模态模型接入现有应用的完整指南 InternVL2_5 8B AWQ 是上海人工智能实验如何把Mistral-7B-Instruct-v0.3-mlx-4Bit部署成OpenAI兼容API服务完整实战指南如何把Mistral 7B Instruct v0.3 mlx 4Bit部署成OpenAI兼容API服务完整实战指南 Mistral 7B Instruct上一篇Rofi 1.7.7 版本解析黑屏渲染、窗口丢失与配置兼容性修复背后的实现细节下一篇基于 Ragas 对比 Vertex AI Gemini 模型RAG 问答任务的评估与选型实战创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考