[發明專利]面向機器人技能學習的快速模仿學習方法、系統、設備

有效

• 申請號: 202110685036.8
• 申請日: 2021-06-21
• 公開（公告）號: CN113408621B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 王碩;郝鵬;魯濤;崔少偉;魏俊杭;蔡瑩皓
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于機器人和人工智能技術領域，具體涉及一種面向機器人技能學習的快速模仿學習方法、系統、設備，旨在解決現有機器人的示教數據采集耗時、復雜以及當示教者提供了次優示教時，機器人無法優化執行過程，導致機器人操作效率降低、作業時間變長的問題。本系統方法包括獲取原始示教數據；結合預訓練的評測器，通過預設的關鍵幀提取方法從原始示教數據集中提取關鍵幀示教數據；基于關鍵幀示教數據，通過訓練好的控制策略模型控制機器人復現示教。本發明能夠簡化機器人模仿學習時的數據采集流程，并基于機器人控制策略模型的性能優化示教軌跡，縮短數據采集時間與機器人操作時間，有效地提高機器人模仿學習的效率、縮短作業時間。

技術領域

本發明屬于機器人和人工智能技術領域，具體涉及一種面向機器人技能學習的快速模仿學習方法、系統、設備。

背景技術

模仿學習是一類機器人通過模仿專家行為以獲取技能的方法。模仿學習方法可以分為兩個階段，分別是示教數據采集和策略生成。在示教數據采集時，演示者需要執行一次或多次任務，并提供演示期間的狀態和動作信息。在策略生成時，機器人使用策略生成方法從示教數據中學習用于模仿演示者行為的控制策略。

現有模仿學習方法與人類的模仿過程相比仍存在一定差異。主要體現在：第一，人類模仿者在無法獲得示教者動作信息的情況下，可以僅從任務的狀態序列中學習技能；第二，人類模仿者在模仿專家行為時會利用自身的知識優化任務執行步驟。這些差異使得現有模仿學習方法傳授機器人技能時，必須使用外部傳感器或動作識別模塊以獲取專家動作，這導致示教數據采集過程變得耗時且復雜；而且，當示教者提供了次優示教時，機器人無法優化執行過程，這導致機器人操作效率降低、作業時間變長。基于此，本發明提出了一種面向機器人技能學習的快速模仿學習方法。

發明內容

為了解決現有技術中的上述問題，即為了解決現有機器人的示教數據采集耗時、復雜以及當示教者提供了次優示教時，機器人無法優化執行過程，導致機器人操作效率降低、作業時間變長的問題，本發明第一方面，提出了一種面向機器人技能學習的快速模仿學習方法，該方法包括：

S10，當機器人需要學習新的技能時，先獲取原始示教數據；所述原始示教數據為示教者執行示教動作前后操作環境的狀態；

S20，結合預訓練的評測器，通過預設的關鍵幀提取方法從原始示教數據集中提取關鍵幀示教數據；

S30，基于所述關鍵幀示教數據，通過訓練好的控制策略模型控制機器人復現示教，從而完成機器人技能學習的泛化；

其中，所述控制策略模型、所述評測器，其訓練方法為：

A10，采集探索數據，構建探索數據集；所述探索數據包括機器人在執行設定探索策略生成的動作以及執行動作前后操作環境的狀態；

A20，將操作環境的狀態作為監督學習的輸入、將生成的動作作為監督學習的標簽，通過行為克隆方法對預構建的控制策略模型訓練；

A30，采集評測數據，構建評測數據集；所述評測數據包括測試任務、通過訓練后的控制策略模型執行測試任務時的成功率和操作步數；所述測試任務由測試設置的操作環境的初始狀態和目標狀態組成；

A40，將測試任務作為監督學習的輸入，將成功率和操作步數作為監督學習的標簽，通過監督學習的方法訓練預構建的評測器；

所述控制策略模型基于帶有卷積結構、遞歸結構的深度神經網絡構建；所述評測器基于帶有卷積結構的深度神經網絡構建。

在一些優選的實施方式中，步驟S20中“通過預設的關鍵幀提取方法從原始示教數據集中提取關鍵幀示教數據”，其方法為：

S21，將原始示教數據中的操作環境的狀態作為節點，構建初始圖G；

S22，從初始圖中選擇一組未經過評測器評測的節點對作為轉移任務，使用評測器預測控制策略模型執行轉移任務時的成功率和操作步數；