资讯动态

StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simul...

发布时间:2026/10/14 2:55:27 来源:尧图企业网站定制
文章主要内容总结本文介绍了StarDojo,一个基于《星露谷物语》(Stardew Valley)的新型基准测试平台,旨在评估多模态大型语言模型(MLLMs)驱动的智能体在开放式生产-生活模拟中的行为能力。该平台包含1000个精心设计的任务,涵盖农业、制作、探索、战斗和社交五个核心领域,并提供100个代表性任务的精简版(StarDojo-Lite)以提高评估效率。StarDojo的核心特点包括:统一的Python交互接口(无需键盘鼠标操作)、自动化评估脚本、跨系统兼容性(支持Ubuntu、macOS、Windows)以及并行环境执行能力。通过对GPT-4.1、Claude 3.7 Sonnet、Gemini 2.5 Pro等主流MLLMs的评估,发现当前模型表现显著不足,最佳模型GPT-4.1的总体成功率仅为12.7%,主要瓶颈在于视觉理解、多模态推理和低级操作能力。创新点填补评估空白:首次同时评估智能体在生产活动(如 farming、crafting)和社交互动(如与NPC建立关系)中的综合能力,弥补了现有基准(如Atari、MineDojo)仅关注单一任务的局限。高生态效度的模拟环境:基于《星露谷物语》的真实动态(时间、 stamina、天气、季节循环)构建,贴近现实世界的生产-生活系统,需智能体平衡资源管理、社交整合和环境适应。实用化工具链:提供用户友好的接口、自动化评估、跨系统支持和并行执行能力,便于研究者高效测试和开发智能体。/

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑