Dream2Flow：斯坦福新AI让机器人在行动前“想象”任务
内容摘要
斯坦福大学的研究人员开发了Dream2Flow框架，旨在弥合人工智能视频生成与物理机器人之间的“具身鸿沟”。Dream2Flow不强迫机器人模仿有缺陷的生成视频，而是将视频用作概念指南，从中提取“3D物体流”——一个数学路径，代表物体在三维空间中应如何移动，独立于视频中的执行者。这种以物体为中心的轨迹使各种机器人（机械臂、四足、人形）能够计算出实现物理目标的必要控制动作。该系统利用了大型视频模型（如Sora或Kling）中嵌入的知识，使机器人能够推理先前未见过的任务变化。尽管测试显示系统能够成功引导机器人完成涉及不同物体的任务，但挑战依然存在，主要源于生成式AI的问题，如物体变形或视频中的幻觉，这些是观察到故障的主要原因。
(来源：ScienceClock)