【免费下载链接】Fara1.5-4B项目地址https://ai.gitcode.com/hf_mirrors/microsoft/Fara1.5-4B点击查看免费下载Fara1.5-4B 是 Microsoft Research AI Frontiers 发布的面向 Web 浏览器的多模态computer use agentCUA它只靠纯视觉感知截图看懂页面借助262K 长上下文记住完整操作历史并能直接输出像素级精准点击坐标。本文带你拆解它的架构设计、训练方式与部署要点一文读懂这款 MIT 协议开源模型。️ 纯视觉感知Fara1.5-4B 的眼睛长什么样传统网页自动化方案多依赖 DOM 树或可访问性accessibility树而 Fara1.5-4B 走了另一条路——只看截图不看 DOM。这一设计的直接好处是与人类用户的输入模态完全一致页面怎么渲染它就怎么看不依赖网站结构对任意页面包括动态生成的复杂 UI都通用无需单独训练 grounding 模型坐标预测直接内置在主模型里从 config.json 可以看到它的视觉编码器vision encoder配置参数值作用depth24ViT 视觉塔共 24 层hidden_size1024视觉特征维度patch_size16截图被切成 16×16 的像素块spatial_merge_size2相邻 2×2 patch 合并压缩 token 数量out_hidden_size2560与语言模型隐藏维度对齐图像处理器则允许极高的输入分辨率见 processor_config.jsonlongest_edge上限约 1284 万像素。高分辨率意味着小按钮、细文字也能保留细节——这正是像素级点击的地基。官方建议沙箱屏幕使用1440×900分辨率这是模型训练时最常见的规格定位最可靠。 262K 长上下文的架构密码混合注意力Agent 要完成订餐填表购物这类多步任务必须记住此前每一张截图和每一次动作。Fara1.5-4B 的上下文长度达到262,144 tokensconfig.json 中max_position_embeddings足以容纳多张截图的完整轨迹。它为什么敢做这么长答案藏在 32 层语言模型的注意力设计里config.json 的layer_types字段linear_attention × 3 → full_attention × 1每 4 层循环一次24 层线性注意力借鉴 Mamba 等状态空间模型的思路配置中可见mamba_ssm_dtype、linear_conv_kernel_dim等参数计算量随序列长度线性增长长序列不爆炸8 层全注意力每隔 3 层线性层插入一层标准 full attention保证精确的长程依赖召回mRope 多模态旋转位置编码mrope_section为 [11, 11, 10]把位置编码同时分摊到时间/宽度/高度三个维度让图像 token 和文本 token 共享统一坐标系config.json这套以线性注意力为主、全注意力为辅的混合结构就是 4B 小模型扛住 262K 上下文的秘诀——单张 A100/H100 就能装下模型和截图历史。 像素级精准点击是怎么炼成的Fara1.5-4B 由 Qwen3.5-4B 监督微调SFT而来训练数据约10 亿文本 token 不到 10 亿训练图像由 32 张 B200 跑 2 天完成。点击精度来自三个环节的叠加高分辨率视觉输入截图经 patch 切分与 2×2 合并后空间细节几乎无损地进入模型专门的 grounding 数据训练混合中加入了图像 文本 边界框的坐标预测数据集教模型把自然语言指令对齐到具体像素FaraGen1.5 合成轨迹微软的多智能体流水线自动合成 Web 任务、真实执行并录下截图/思考/动作轨迹再由验证智能体过滤只保留成功轨迹参与训练详见 README.md。最终模型的输出格式固定为思考块chain-of-thought 工具调用块。工具调用是 XML 包裹的 JSON统一调用computer_use函数。完整对话模板逻辑见 chat_template.jinja。支持的原子动作一览README.md动作用途left_click/right_click/double_click/triple_click在(x, y)处点击mouse_move/left_click_drag移动光标 / 拖拽type/key键盘输入scroll/hscroll页面滚动visit_url/history_back导航web_search发起搜索ask_user_question向用户提问澄清wait/terminate等待 / 结束任务️ Critical Points写进训练里的安全刹车Fara1.5-4B 最有意思的设计之一是把何时该停下来问人作为训练目标写进了系统提示README.md。三类关键节点必须暂停并向用户确认缺少用户信息需要邮箱、电话、支付信息等未提供的个人数据时绝不编造填完已有内容即停下询问任务描述不明确当前步骤存在歧义时暂停澄清不可逆操作提交表单、完成付款、发送邮件、登录账号等除非用户事先明确授权否则一律先问再做。即使模型技术上能继续它也会主动刹车——这是 computer use agent 落地的关键护栏。 快速部署指南vLLM 一键推理运行环境要求README.mdtorch 2.11.0、transformers 5.2.0、vllm 0.19.1以及一张能装下 4B 模型 bf16 权重的显卡A6000 / A100 / H100 / B200 均已验证。权重分两个 safetensors 文件存放model-00001-of-00002.safetensors、model-00002-of-00002.safetensors合计约 45.4 亿参数、9.08 GB分片映射见 model.safetensors.index.json。用 vLLM 启动服务vllm serve microsoft/Fara1.5-4B \ --dtype bfloat16 \ --max-model-len 262144 \ --limit-mm-per-prompt image10 提示模型针对特定系统提示词训练部署时请原样使用官方 system promptREADME.md效果最佳。官方最推荐的部署方式是放入MagenticLite框架Docker 沙箱隔离浏览器、域名白名单、实时 watch-mode 审计、一键 Pause。若自行集成请自己补齐这些控制手段——不要让模型带着无限制浏览器权限碰敏感机器。 实测成绩小身材不小弱端到端 Web Agent 基准测试结果README.md模型WebVoyagerOnline-Mind2WebWebTailBenchFara1.5-4B80.857.327.4Fara1.5-9B86.663.432.3Fara1.5-27B89.372.340.24B 版本在 WebVoyager 上拿到 80.8 分对单卡部署来说性价比非常能打追求更高成功率可选 9B / 27B。⚠️ 已知局限与使用建议再强的 CUA 也需要边界感。官方明确的局限README.md仅支持英文非英文内容质量下降纯视觉感知可能被低质量渲染、欺骗性页面或页面内嵌的 prompt 注入带偏多步轨迹会累积误差——前面一次误点可能逐步放大可能脑补页面状态引用早期截图信息时出错。因此官方给出的最佳实践是人在回路随时可停止、沙箱运行容器隔离、不碰宿主机文件、域名白名单、不喂凭据、输出先验证再执行。写在最后Fara1.5-4B 展示了小模型 强架构的路线线性注意力混合全注意力撑起 262K 长上下文高分辨率视觉输入叠加 grounding 数据实现像素级点击再用关键节点刹车把安全写进模型本身。整套文件结构非常干净——模型权重、tokenizer.json、chat_template.jinja、generation_config.json 一应俱全配合 MIT 协议是研究 Web Agent 与 computer use 方向难得的开源样本。赞分享【免费下载链接】Fara1.5-4B项目地址https://ai.gitcode.com/hf_mirrors/microsoft/Fara1.5-4B点击查看免费下载相关推荐64层混合注意力架构解析Fara1.5-27B-OptiQ-4bit如何用linear_attn撑起262K长上下文64层混合注意力架构解析Fara1.5 27B OptiQ 4bit如何用linear_attn撑起262K长上下文 Fara1.5 27B OptiQ 4b人工智能大模型基础模型多模态计算机视觉AI AgentMechVL-4B-RL 架构拆解Qwen3-VL 视觉编码器、DeepStack 与 262K 上下文如何协同工作MechVL 4B RL 架构拆解Qwen3 VL 视觉编码器、DeepStack 与 262K 上下文如何协同工作 MechVL 4B RL 是一款面向机MuJoCo视觉抓取强化学习从像素级感知到精准控制的深度解析MuJoCo视觉抓取强化学习从像素级感知到精准控制的深度解析 在机器人视觉抓取领域基于MuJoCo物理引擎的强化学习技术正展现出突破性的应用前景。本文通过深人工智能强化学习机器人计算机视觉上一篇Apache Beam 窗口累计模式Window Accumulation Mode在 Kotlin Katas 中掌握 accumulatingFiredPanes 与早期触发器下一篇终极本地多人游戏解决方案Nucleus Co-Op分屏工具完全指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考