转载：抛光人机协作学习（附：相关知识链接）

本期为 Springer 旗下 Autonomous Robots 期刊 2018年6月特刊，主题为人机协作（Human-Robot Collaboration）中的学习。

本期共收录10篇文章，涵盖了协同操纵、医疗机器人和社交行为等方向。

引言：机器人一度被隔离在安全防护栏之内，但正在逐渐与人类共享使用空间，包括生产线、家里、博物馆或者医院。在这些使用情况下，人与机器人的协作（Human-Robot Collaboration, HRC）变得至关重要，给机器人算法带来了新的挑战。机器人必须了解人类协作者的意图并传达自己的意图，预测人类行为并适应其行为，决定何时主导任务或协助人类操作者。这需要机器人可以执行不同的任务，并迅速适应用户的动作和需求，这种适应性使得学习（Learning）成为协作机器人的关键需求。

Paper 1: Progress and Prospects of the Physical Human–Robot Collaboration

本文主要回顾了人机接口（Human-Robot Interfaces）、控制方法、系统稳定性、基准和相关实例的最新进展，并对无缝的人-机器人-环境交互进行展望。

机器人感知接口：致力于提升机器人感知人类行为的能力，目前涵盖视觉、力反馈、生物信号、评估人类生理或情绪状态、语言命令、多模态接口等研究方向。

人类感知接口：利用人类发达的触觉反馈、视觉反馈（VR）、电子皮肤、纹理信息、机械压力等手段提高人机交互速度和机器反应时间。

互动方式：给机器人交互过程赋予多种策略，包括阻抗控制框架、高斯混合模型预测意图、动态角色互换机制、视觉感知跟踪人体运动、根据人类工作者状态主动触发交互行为、隐马尔科夫模型在线预测、多模态交互方式等。

稳定性：考虑到即使人和机器人两个系统独立稳定时，耦合后的人机系统也可能是不稳定的，分析人机协作系统在不同的相互作用情况下的稳定性至关重要。此外透明度Transparency（顺应操作者意图）、可读性（易于被人类理解的运动意图）、预测能力也是人机协作中的重要因素。

基准与相关实例：基准部分包括心理评估基准、基准测试应用程序、机器人拟人化、人体工程学等方面。应用部分包括建筑工地微型挖掘机、康复机器人、触觉指导手杖、工业协同装配、协作操纵非刚性物体（如叠桌布）等方面。

Ajoudani, A., Zanchettin, A.M., Ivaldi, S.et al. Progress and prospects of the human–robot collaboration. Auton Robot 42,957–975 (2018).

Paper 2: Early prediction for physical human robot collaboration in the operating room

本文研究了手术室中协作机器人的任务转换预测（Turn-taking Prediction），即机器人需要了解人类同伴正在进行的动作，预测下一步动作并进行相应操作。这种早期预测能力可以准确预测任务转换的准确时间，尽早开始运动计划和执行以平滑过渡，这种主动行为可以减少协作者等待时间，提高任务执行效率。

本文提出了一种手术室中使用的护士机器人用以缓解护士人力资源紧张，该机器人可以理解外科医生的多模式信息（包括语言型显式信息和姿态型隐式信息）并进行预测。测试结果表明，在给出很少的部分输入时（30%的全部动作），该机器人精度比人类更高；当数据量更大时，该机器人精度与人类相当。硬件采用了Myo臂章、Epoc耳机和Kinect运动感知器件用以检测医生的多模态信号，保留相关特征并用LSTM网络进行预测，使用Demspter-Shafer方法融合不同预测结果，随后触发运动规划算法，拾取正确的器械交给医生。

Zhou, T., Wachs, J.P. Early prediction for physical human robot collaboration in the operating room. Auton Robot 42,977–995 (2018).

Paper 3: Skill-based human–robot cooperation in tele-operated path tracking

本文提出了一种基于共享控制的遥操作框架，并且能适应不同操作者的操作能力。使用常规机器学习方法提取运动与任务相关的特征，并评估操作人员在执行遥操作任务多方面的技能水平。评估出的技能水平用于相应地修改机器人的行为，防止对熟练操作者进行不必要的限制。

另外部署了四个辅助方法，三个触觉辅助用运动学指导来改善任务性能，另外一种辅助方法用来帮助操作人员与主设备进行交互并避免工作空间限制，以上四种分别为Guidance active constraint, Isotropic viscosity, Elastic penetration constraint, and Master workspace helper (MWH).

Enayati, N., Ferrigno, G. & De Momi, E. Skill-based human–robot cooperation in tele-operated path tracking. Auton Robot 42,997–1009 (2018).

Paper 4: Robot adaptation to human physical fatigue in human–robot co-manipulation

本文提出一种新的人机协作方法，机器人的行为可以随着操作者的疲劳程度而在线适应。机器人以跟随者的身份模仿人类操作，逐渐学习与任务执行相关的参数和轨迹。同时机器会检测操作者的疲劳程度，当操作者达到预定义的疲劳程度时，机器将接管部分对体能有要求的任务，使得操作者可以恢复体力。

本文通过EMG测得的人类肌肉力量模型来估计协作者的疲劳程度。在协作任务执行的初始阶段，机器人学习物理行为（参考轨迹）。使用动态运动基元（Dynamical Movement Primitives, DMP）对机器人的运动轨迹进行编码，这些运动轨迹是通过局部加权回归（Locally Weighted Regression）在线获得的。机器人使用自适应频率振荡器（Adaptive Frequency Oscillators）估计所需的任务执行速度，并控制学习的DMP的相位和频率。本文在材料切割和表面抛光上进行了实验验证。

Peternel, L., Tsagarakis, N., Caldwell, D.et al. Robot adaptation to human physical fatigue in human–robot co-manipulation. Auton Robot 42,1011–1021 (2018).

Paper 5: Human robot cooperation with compliance adaptation along the motion trajectory

本文提出了一种直观的人机交互协同方法，通过对人类操作者演示行为的初步学习，机器人的行为演变成一项协作任务，人类协作者可以在任何阶段修改运动轨迹以及执行速度。本方法主要特征是：机器人在Frenet-Serret框架下的操作路径中调整刚度（stiffness），通过将机器人在操作空间中的动力学解耦来得到所需动力学性能，原始速度动态动作用于底层任务描述（Speed-scaled dynamic motionprimitives are applied for the underlying task representation.）该方法降低了人类操作者动作精度要求，高精度操作可以由机器人进行弥补，人类操作者还可以通过简单地施加力来改变运动轨迹和速度。

Nemec, B., Likar, N., Gams, A.et al. Human robot cooperation with compliance adaptation along the motion trajectory. Auton Robot 42,1023–1035 (2018).

Paper 6: Co-manipulation with a library of virtual guiding fixtures

虚拟引导固定装置（Virtual guiding fixtures）将机器人的运动限制在与任务相关的轨迹上，并且已成功应用于外科手术和制造过程中。区别于此前工作考虑的针对单个任务的引导装置，本文考虑了多个任务的引导装置库，并提出以下方法：1）基于机器学习创建和添加引导；2）根据概率在线选择相应引导装置；3）基于增量学习（incremental learning）完善现有引导。实例证明了在工业任务中，引导装置库提供了一个直观的触觉界面，用于人机协作完成任务，并提高了操作者的心理状态及减少错误。

Raiola, G., Restrepo, S.S., Chevalier, P.et al.Co-manipulation with a library of virtual guiding fixtures.Auton Robot42,1037–1051 (2018).

Paper 7: One-shot learning of human–robot handovers with triadic interaction meshes

提出了一种模仿学习方法，使得机器人可以无缝的检索对象并交给人类使用者。区别于手工编码交互参数，本文从两个人的演示过程中提取相关信息，例如关节相关性和空间关系。本方法核心为交互模型（Interaction Model），该模型使得机器人能够将观察到的演示操作从时间和空间上推广到新的情况。为此，提出了一种数据驱动的方法，用于生成将两个交互伙伴链接到被操作对象的交互网络。实验表明人与人之间的任务演示可以训练出人与机器人的无缝交互。

Vogt, D., Stepputtis, S., Jung, B.et al. One-shot learning of human–robot handovers with triadic interaction meshes. Auton Robot 42,1053–1065 (2018).

Paper 8: Learning proactive behavior for interactive social robots

本文提出一种从人与人的交互过程中学习机器与人社交行为的方法，选取了照相店主与客户交互行为作为训练场景。通过检测 yield interactions, 合并交互历史，以及使用注意力机制来了解哪些历史步骤对于预测机器人行为。该方法可以再现机器人的反应行为（如回答问题），而且可以再现从人与人交互中学习到的前瞻性行为（如提供未经请求的信息）。这种框架下的机器人能产生更主动的行为，更有效的与客户进行互动，扩展以往工作中的数据驱动型方法来重现店员行为，提高与真实世界的交互能力。

Liu, P., Glas, D.F., Kanda, T.et al. Learning proactive behavior for interactive social robots. Auton Robot 42,1067–1085 (2018).

Paper 9: Hierarchical emotional episodic memory for social human robot collaboration

对于社交型人机协作，机器人需要有效地记住人的经历并管理情感经历和重复性经历。为了实现这些功能，本文提出使用深度自适应共振理论网络（deep adaptive resonance theory network）的分层情绪情节记忆。这种记忆不仅可以学习情绪经历，也可以预测未来情绪状况。本文提供了两个参数设置环节，即延迟合并（delayed consolidation）和即时更新(instant update), 使得情感经历得到更快的增强，保持更长的时间，并且对类似体验变得更加稳定和敏感。在厨房环境中进行了一项实验，以演示社交型人机协作。

Lee, W., Kim, J. Hierarchical emotional episodic memory for social human robot collaboration. Auton Robot 42,1087–1102 (2018).

Paper 10: Efficient behavior learning in human–robot collaboration

本文为机器人提供了一种新颖的方法，可以在执行人机协同任务时进行交互式学习，并适应人类的任务执行偏好。考虑到不同操作者具有不同的能力、经验和个人偏好，我们试图使机器人学习任务和用户的偏好，以提供更有效的协同执行能力，本文主要采用多智能体协作模型下半马尔可夫决策过程（Multi-agent collaboration semi-Markov decision），并展示了如何对团队行为进行建模并了解预期机器人行为。

本文提出了一种交互式学习系统，允许机器人学习以协助操作人员，分为交互式学习、融合训练和执行三个阶段，具有以下有点：1）只要对任务有信心，就可以利用当前执行数据开始自动执行操作，使得教学过程更短更轻松，因为机器人在执行确定正确的动作时可以自动执行操作；2）如果某些部分执行错误，啧可以使用新的经验和用户反馈来修正学习行为，或者如果预期行为发生变化，则采用新的训练和反馈。

Munzer, T., Toussaint, M. & Lopes, M. Efficient behavior learning in human–robot collaboration.Auton Robot42,1103–1115 (2018).