人工智能大模型模型评测Agent 评测【免费下载链接】InferenceXOpen Source AI Accelerator Research Platform Standard / 开源推理研究平台项目地址https://gitcode.com/gh_mirrors/in/InferenceX点击查看免费下载InferenceX 是一个开源推理研究平台专注于 AI 推理基准测试它持续对 vLLM、SGLang、TensorRT-LLM 等主流开源推理框架进行端到端性能测试并覆盖算子、通信、功耗等更细粒度的维度让从业者能够实时追踪大模型推理性能的真实变化。如果你想知道 AI 推理基准测试的行业标杆长什么样这篇文章可以一次讲清楚。为什么 AI 推理基准测试需要持续进行大模型推理性能由两大支柱驱动硬件和软件。️硬件每年通过新 GPU/XPU 的发布带来阶跃式提升如 Hopper → Blackwell → Rubin 的演进软件SGLang、vLLM、TensorRT-LLM 等框架每天都在优化——内核级优化、分布式推理策略、调度创新可能相隔仅数天就发布一次性能改进。问题在于固定时间点测得的基准测试数据很快就会过时无法代表最新软件包的真实表现。这正是 InferenceX 想要解决的核心挑战——用自动化、可重复的基准测试流水线让性能数据永远保鲜。InferenceX 平台架构五大子项目一览InferenceX 采用模块化设计每个子目录对应一个独立的基准测试项目子项目定位状态inferencex-e2e/ 端到端推理服务基准测试核心项目稳定collectivex/ 网络与集合通信基准测试实验性 Betaoperatorx/⚙️ 算子与内核级基准测试实验性 Betapower_model/⚡ 开源系统级功耗建模Betaexperimental/ 其余实验性探索实验性这种分层测量的思路很清晰从整条推理服务链路到单个算子、单次通信再到整机功耗逐层拆解性能瓶颈。核心子项目逐个拆解InferenceX-e2e端到端推理服务基准测试这是整个平台的基石位于inferencex-e2e/包含完整的模型服务基准测试、配置、启动器、Python 工具链与性能历史。它的运行逻辑可以简化为一条流水线详见 inferencex-e2e/docs/architecture.md声明式配置用 YAML 主配置描述测什么——模型、镜像、框架、场景、拓扑与搜索空间例如 inferencex-e2e/configs/nvidia-master.yaml矩阵生成与校验通过严格的 Pydantic 校验把配置展开成可执行的测试矩阵自动分发执行workflow 把矩阵扇出到真实 GPU 集群支持 Slurm 调度在容器内拉起推理服务并压测结果收集与入库每个任务产出标准 JSON 制品最终汇入 InferenceX-app 的开源实时仪表盘。配套的 perf-changelog.yaml 是一份追加式变更日志——任何可能影响性能改动都要登记保证每次结果都可追溯。CollectiveXMoE 专家并行的通信基准位于collectivex/专门测量 MoE 模型专家并行EP场景下的 dispatch、combine 及往返延迟横向对比 DeepEP、MoRI、UCCL-EP、NCCL EP、FlashInfer EP 等通信库在 NVIDIA 与 AMD 平台上的表现。其完整测量方法论写在 collectivex/docs/methodology.md。OperatorX算子与内核级基准测试位于operatorx/一次测一个算子——gemm、attention、moe、collectives 等覆盖 NVIDIA / AMD / TPU / Trainium 四大平台每次运行输出一个标准 JSON 结果文件。它帮你回答到底是哪个算子拖慢了我的推理power_model系统级功耗建模位于power_model/。现实是多数集群只能拿到 GPU 级功耗遥测这个模型结合实测 GPU 功耗估算风扇、CPU/内存、网络、电源与机房开销等其余组件的耗电最终给出完整的机架/集群功耗账本支持按机箱输出功耗分解。官方支持的硬件阵容InferenceX 覆盖了当前主流与最新的 AI 加速硬件这也是其行业标杆地位的重要来源硬件状态硬件状态Vera Rubin NVL72✅MI300X✅GB300 NVL72✅H200✅GB200 NVL72✅H100✅MI355X / MI325X✅TPUv7x Ironwood✅B300 / B200✅RTX PRO 6000 Server✅MI455、Rubin NVL8 等更新平台也已在支持计划中。跨 NVIDIA Blackwell、AMD 与 Hopper 的多平台横评能力是 InferenceX v2 的重要卖点之一。谁在信任这套基准根据 README.md 的介绍InferenceX 受到 OpenAI、Meta、Microsoft、Oracle 等万亿美元级 Token 工厂运营商的信赖同时得到 PyTorch 基金会、vLLM、SGLang 社区及 Tri Dao 等核心开发者的认可。AMD 与 NVIDIA 均提供了 GPU 资源支持这一免费开源项目。如何快速上手 InferenceX整个仓库采用 Apache 2.0 许可clone 后即可运行本地工具链git clone https://gitcode.com/gh_mirrors/in/InferenceX cd InferenceX/inferencex-e2e uv sync --locked之后即可在inferencex-e2e/目录下用uv run --locked python -m infx...调用矩阵生成、结果收集等模块。完整的文档导航从 inferencex-e2e/docs/index.md 开始它集中链接了架构、配置、评测、Runner 与故障排查等参考文档如果想为已有服务单独跑 AgentX 压测无需 CI 或 Slurm可参考 inferencex-e2e/docs/agentx-standalone.md。总结InferenceX 凭什么成为行业标杆持续而非快照自动化流水线让基准结果随软件生态同步演进实时反映最新框架的真实性能多层级覆盖从端到端服务、通信、算子到功耗逐层定位性能瓶颈多平台横评NVIDIA / AMD / TPU / Trainium 统一方法论结果中立可对比全程可追溯追加式性能变更日志 严格校验 标准 JSON 制品每个数据点都能溯源完全开源Apache 2.0 许可配套开源实时仪表盘免费向公众开放。无论你是选型推理框架、评估新硬件还是追踪社区优化进展InferenceX 都是一份值得收藏的 AI 推理基准测试参考。参与贡献的规范见 CONTRIBUTING.md欢迎提交 PR。赞分享人工智能大模型模型评测Agent 评测【免费下载链接】InferenceXOpen Source AI Accelerator Research Platform Standard / 开源推理研究平台项目地址https://gitcode.com/gh_mirrors/in/InferenceX点击查看免费下载相关推荐为什么AlpaSim是自动驾驶研究的理想测试平台为什么AlpaSim是自动驾驶研究的理想测试平台 自动驾驶技术正在快速发展但如何安全有效地测试和验证这些系统一直是行业面临的重大挑战。AlpaSim作为一款自动驾驶科研5步拿到无水印视频res-downloader 资源嗅探下载器与视频号解密教程5步拿到无水印视频res downloader 资源嗅探下载器与视频号解密教程 想把视频号、抖音的无水印视频存进电脑传统做法是开 Fiddler、Charl桌面应用网络音视频为什么InferenceX的测试哲学值得所有AI基准项目借鉴AGENTS.md行为测试清单完整解读为什么InferenceX的测试哲学值得所有AI基准项目借鉴AGENTS.md行为测试清单完整解读 InferenceX 是一个持续在 GPU 集群上基准测试人工智能大模型模型评测Agent 评测创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考