WorldOracle评估世界模型的真实表现

在现实操作中，有时候机器人的行为与模型的预测完全不符，比如机器手明明没有抓到水果，模型却显示它成功了。这是WorldOracle展示的一个案例，旨在检验世界模型的预测能力。在这一研究中，普林斯顿大学、德克萨斯大学奥斯汀分校、多伦多大学、NVIDIA和智元的研究团队采用真实操作作为参考，评估了多个世界模型的表现。

评估结果表明，尽管机械臂的移动路径预测比较准确，但物体的位置和运动常常与实际情况偏差明显。对于包含七种主流模型的评测，发现短期内表现良好的模型，随时间推移其准确性可能显著下降。10月16日，WorldOracle正式向开发者开放，允许他们使用评测平台上的数据集进行模型测试，从而比较模型生成的预测与真实结果的吻合程度。

在首轮评测中，针对七种世界模型的表现进行了详细分析。结果显示，大多数模型在机械臂的表现上得分较高，但物体的运动和位置却未必能保持一致。举例来说，IRASim模型的机械臂得分达到了78.8，而物体得分仅有29.1。这表明尽管机械臂的操作较为精准，相关物体的正确预测问题依旧存在。 南宫28ng娱乐最新官网

另一个显著的问题是，随着时间的延续，模型的预测能力往往会减弱。例如，在长序列测试中，DreamDojo和Cosmos 3的得分几乎减半。这强调了模型在处理连续操作时需要有更强的适应性。

WorldOracle的设计通过提供真实的操作记录，让模型生成预测视频，并与实际执行结果进行比对。这种评测方式不仅包括成功的操作，还涵盖了失败的案例，这些失败的预测同样重要，可以帮助检验模型的准确性。评测内容涉及多个任务，如抓取、倒水等，真实执行的画面数据将为模型的进一步优化提供参考。