没有图纸，机器人也会搭积木桥|IROS 2021

作者 | 李云飞
【没有图纸，机器人也会搭积木桥|IROS 2021 | 积木】编辑 | 陈大鑫
用积木拼搭各种建筑应该是很多小朋友童年的一大乐趣。现在，聪明的机器人也能自己玩积木了，而且不用人告诉它成品长什么样，机器人可以自己设计、建造一并完成。
AI 科技评论今天介绍一篇来自清华大学和字节跳动的研究者发表在 IROS 2021的论文： “Learning to Design and Construct Bridge without Blueprint”

论文链接：https://arxiv.org/abs/2108.02439

介绍
这篇论文提出了机器人设计与搭积木桥任务。如图1最左所示，场景中有两个“悬崖”和若干积木，机器人的任务是利用尽量少的积木把悬崖连接起来。悬崖之间的距离是随机的，物料的数量也是变化的。

图1：机器人搭桥任务示意
需要强调的是，机器人搭桥任务中需要关注的问题和之前许多机器人操作（manipulation ）任务不太一样。之前的工作比如装配 (assembly)、物体布置 (rearrangement)、堆积木 (stacking) 等，它们的最终目标状态都事先知道，不需要机器人自己规划每个物体的目标状态。这就相当于机器人拿着“设计师”给好的“图纸”，只需要负责规划怎样“施工”才能实现图纸上的状态。而在搭桥任务中，机器人手中并没有图纸，它看到的只是两个悬崖和能用来搭桥的积木。至于应该用多少块积木、每块积木摆在哪里才能把悬崖连起来、应该先放哪块再放哪块积木、具体应该怎么把积木放过去，所有的问题我们的机器人都要考虑，现在它得既当设计师又当工程师了。
由于搭桥的任务非常复杂，如果机械臂考虑的每一步动作仅仅是旋转自己关节的角度的话，那需要规划的步数是非常庞大的，直接解这样的问题几乎不可能。所以，该工作借鉴了 Task and Motion Planning (TAMP，任务与动作规划) 的做法，把搭桥抽象成两层问题来做。
在高一层，机器人只关心积木块的移动，每一步动作是“瞬移”一个积木，而省略掉机械臂操作积木的细节。在低一层，机械臂负责解算如何控制自己的关节才能把积木移动过去。换句话说，解决高层问题的智能体主要负责设计桥的形态，所以也叫它 blueprint policy（蓝图设计策略）。
而底层问题其实就是机械臂的 pick and place（抓取与放置）任务，可以交给传统的 motion planning（动作规划）方法解决。整体的框架如图1右侧所示。

搭桥的任务设定

在桌面上放置两个间距随机的物块当作悬崖，再给机器人提供数量不定的积木当物料，希望机器人能利用这些物料搭出某种结构，把两个悬崖连起来。
搭桥任务主要的难点就是在 blueprint policy 负责的桥梁设计环节。这个问题可以建模为一个 Markov 决策过程 ( MDP: Markov decision process，一种序列决策过程) ，由状态 (state)，动作 (action)，转移关系 (transition) 和奖励信号 (reward) 定义。Blueprint policy 在每一步会先获取环境的状态，然后决定采取什么样的动作，接着环境会转移到下一个状态，同时将奖励信号反馈给 blueprint policy。就这样，blueprint policy 通过不断地与环境交互，使用强化学习来调整自己的决策，提升自己的表现。MDP 中每个要素的具体定义是这样的：