导读:智元机器人发布并开源基于仿真功能的模型评测和验证工具Genie Sim Benchmark,专注为具身 AI 模型提供性能测试和优化支持。
4 月 23 日消息,智元机器人发布并开源基于仿真功能的模型评测和验证工具Genie Sim Benchmark,专注为具身 AI 模型提供性能测试和优化支持。
智元机器人表示,作为 Genie Sim(智元仿真平台)的开源评测版本,GenieSimBenchmark 是智元继开源百万真机数据集和海量仿真数据集后,又一里程碑式的开源项目。
Genie Sim 宣称能够还原机器人的操作环境,为多样化任务提供标准化的自动评测体系,衡量模型在各种场景下的表现,加速算法迭代流程,同时减少模型评测对昂贵物理硬件的依赖,降低测试成本。
▲Genie Sim 仿真框架
Genie Sim Benchmark 建立了一套仿真基准和标准化评估体系,支持从基础到高级的多样化操作任务自动评测,本次开源十余个高难度多样化的评测任务,所有代码均已在 GitHub 完整开源。
开源仓库不仅包含标准化的测试场景,支持用户直接调用评测任务验证算法性能,也支持开发者灵活定制。用户可以基于 500 + 高保真物体资产库快速搭建新场景,并通过评测体系自定义评测步骤和指标,为算法研发提供从快速验证到精准评测的全流程支持,提升开发效率。