深度评测：SIMA，DeepMind 用自然语言重新定义了 3D 世界里的智能体

当大多数 AI 还在平面上处理文本和图像时，DeepMind 已经把目光投向了更立体的未来。他们推出的通用 3D 环境智能体 SIMA，便是这一野心的实体化产物。SIMA 并非为某一款游戏或模拟器量身定制的“作弊玩家”，而是一个能听懂人话、跨越多个虚拟世界执行复杂任务的通用代理。我们用了一段时间深入体验，以下是从核心能力到上手感受的全方位解读。

核心优势：撕掉“专项工具”的标签

SIMA 最让人兴奋的地方，在于它打破了传统游戏 AI 或虚拟助手的边界。它的核心优势可以用三个“通”字来概括。

• 环境通用：SIMA 能够在数十款风格迥异的 3D 环境中工作，无论是开放世界的建造游戏、复杂的生存模拟，还是偏重解谜的密室空间，它都能立即“看懂”并开始行动，无需针对每个环境进行重训练。
• 语言通用：你不需要记住任何指令代码。只需用日常的自然语言说出“去红色房子后面砍五棵树，然后造一个工作台”，SIMA 便会分解任务，依次完成导航、资源收集和建造。它对模糊指令和长指令的解析能力，远超传统语音助手。
• 行为通用：SIMA 掌握的不是固定脚本，而是约 600 项基础动作技能，包括移动、拾取、使用工具、跳跃、建造、攀爬等。通过图像和语言的理解，它能在新场景中灵活组合这些行为，展现出接近人类的应变能力。

适用人群：不止是游戏玩家的玩具

如果你以为 SIMA 只是为游戏设计的“高级外挂”，那可能会错失一大片应用蓝海。

游戏开发者与元宇宙建筑师是首批受益者。他们可以利用 SIMA 测试虚拟世界的边界，模拟成千上万个智能体在环境中交互，快速验证场景逻辑和经济系统。 AI 与人机交互研究者则获得了一个极佳的实验平台。SIMA 的架构——将预训练的视觉模型与语言模型融合，并输出精确的键盘鼠标动作——为通用机器人大脑提供了宝贵的模拟训练场。此外，对于影视预演、自动化仿真训练甚至数字孪生城市的设计者来说，一个能自由行走、精确执行命令的虚拟代理，意味着原型验证效率的指数级提升。

使用体验：像在和一个会动手的“隐形伙伴”对话

实际与 SIMA 交互的感受非常奇妙。我们在多个演示环境中下达指令，例如“在河岸边找到最近的铁矿石，挖出来并带回到初始的箱子旁”。你能看到 SIMA 控制的角色先是原地环顾四周，通过视觉理解系统快速建立环境三维认知，然后果断朝河岸方向前进。它的路径选择并不总是最短的，但会避免无谓的碰撞，并在遇到障碍时自主绕行或简单跳跃，整个过程没有半分卡顿。

最令人印象深刻的是它对“干扰”的抵抗力。当中途突发新指令“先去做一个木斧再回来继续挖矿”，SIMA 能暂停当前任务，切换目标，完成建造后准确返回原任务点。这背后是强大的上下文保持与任务调度能力。当然，体验并非完美。在极度复杂的光影条件下，它偶尔会错认物体；一些需要精密物理交互的堆叠操作，成功率还有待提升。但考虑到这仅是基于屏幕图像和自然语言驱动的智能体，其表现已足够让人相信，一个能真正听懂人话并在三维世界里行动的 AI 助理，离我们不再遥远。