没有图纸，机器人也会搭积木桥|IROS 2021

仿真和真机实验
文章首先在仿真环境中看看agent设计出了什么样的桥梁。在悬崖之间距离比较近的时候，agent学出先竖着放一个积木当支柱，再把两块积木横着架上去。在距离更远的时候，它能学会按照合适的间距摆放更多的支撑物，再放桥面。

图3: Agent学会了设计不同长度的桥梁
有时候agent第一次放的位置不是特别好，它还知道回过头来微调。比如图4(a)中agent发现桥面不太平整的时候会重新放置横着的积木。图4(b)中桥成形以后它发现棕色积木是多余的，就把它挪走了。

图4: 自己微调设计得不好的桥
作者采用搭桥成功率来衡量 blueprint policy 的表现。下图左展示了使用不同算法（PPG，PPO）和不同的网络架构 (shared，dual) 时的训练曲线。红线是最终采用的组合，它能以0.8的成功率设计出需要用7块积木的桥。图右展示了 curriculum learning 的关键作用，蓝色线是不从简单的任务学起，直接挑战高难度桥梁的训练情况，它的学习效率明显低于加了curriculum的红色线。

图5: 消融实验的训练曲线
最后将机械臂的底层控制加入，看看机器人搭桥的最终效果。作者用6轴的Kinova机械臂做了真机实验。不管是只需要放一块积木的迷你桥，还是需要加支撑块的T形、形桥，机器人建造师都从容应对，成功完成任务。

图6: Kinova 机器人搭出不同长度的桥
项目视频：

总结
这篇工作提出了“机器人搭桥”的自动装配任务，研究在不事先给定蓝图的情况下如何同时进行结构设计与建造。
本文将搭桥任务拆解成高层设计与底层建造两部分，设计部分利用深度强化学习算法训练，建造部分由传统动作规划方法实现，在实验中能根据悬崖之间随机的距离成功设计建造不同形态的积木桥。

参考文献

Y. Li, T. Kong, L. Li, Y. Li, and Y. Wu, "Learning to Design and ConstructBridge without Blueprint", CoRR, vol. abs/2108.02439, 2021.
L. P. Kaelbling and T. Lozano-Pe ?rez, “Hierarchical task and motion planning in the now,” in 2011 IEEE International Conference on Robotics and Automation. IEEE, 2011, pp. 1470–1477.
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, “Attention is all you need,” in Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, Decem- ber 4-9, 2017, Long Beach, CA, USA, I. Guyon, U. von Luxburg, S. Bengio, H. M. Wallach, R. Fergus, S. V. N. Vishwanathan, and R. Garnett, Eds., 2017, pp. 5998–6008.
K. Cobbe, J. Hilton, O. Klimov, and J. Schulman, “Phasic policy gradient,” CoRR, vol. abs/2009.04416, 2020.
J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov, “Proximal policy optimization algorithms,” CoRR, vol. abs/1707.06347, 2017.
Y. Bengio, J. Louradour, R. Collobert, and J. Weston, “Curriculum learning,” in Proceedings of the 26th annual international conference on machine learning, 2009, pp. 41–48.

雷锋网雷锋网雷锋网

没有图纸，机器人也会搭积木桥|IROS 2021 | 积木( 三 )