[發明專利]一種基于語境翻譯的機器人模仿學習方法

在審

• 申請號: 201710927010.3
• 申請日: 2017-10-09
• 公開（公告）號: CN107622311A
• 公開（公告）日: 2018-01-23
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06N99/00
• 分類號: G06N99/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及模仿學習領域，尤其是涉及了一種基于語境翻譯的機器人模仿學習方法。

背景技術

隨著科學技術的發展，機器人學已經成為人工智能領域研究的熱點問題之一，它體現了目前研究的機器控制水平。在機器人控制中，機器人的模仿學習是自動系統獲取控制策略的有效方法。模仿學習是使機器通過觀察人類工具使用的視頻來學習涉及工具使用的機器人技能。通過學習，機器人可以進一步學習各種技能，如完成掃地、拖地、洗碗、疊衣服等家務工作，又如完成傳送和取回物品、開門關門等能夠在未來減少人類工作量，給人們帶來便利，提高人們幸福感的工作。然而，現有的模擬學習方法不能實現在高維度的觀察和學習，而且不能處理語境改變的情況。

本發明提出了一種基于語境翻譯的機器人模仿學習方法，先從一個未知的語境中學習新的演示，再在這些演示中學習一個語境翻譯模型，模型從目標環境中觀察單個結果，并且通過從源語境翻譯演示來預測在該語境中將來的觀察，接著用于特征追蹤的獎勵功能懲罰已翻譯特征的偏差，從而產生觀察結果，最后加強學習算法的特征追蹤，在學習環境中學習控制策略，可以用于加強學習算法，計算圖像特征。本發明通過學習語境翻譯模型，實現在高維度的觀察和學習，也能處理語境改變的情況；此外，實現有效地語境翻譯和學習，還能夠應用于機器人的模仿學習中。

發明內容

針對不能處理語境改變的問題，本發明的目的在于提供一種基于語境翻譯的機器人模仿學習方法，先從一個未知的語境中學習新的演示，再在這些演示中學習一個語境翻譯模型，模型從目標環境中觀察單個結果，并且通過從源語境翻譯演示來預測在該語境中將來的觀察，接著用于特征追蹤的獎勵功能懲罰已翻譯特征的偏差，從而產生觀察結果，最后加強學習算法的特征追蹤，在學習環境中學習控制策略，可以用于加強學習算法，計算圖像特征。

為解決上述問題，本發明提供一種基于語境翻譯的機器人模仿學習方法，其主要內容包括：

(一)學習語境翻譯；

(二)用于特征追蹤的獎勵功能；

(三)加強學習算法的特征追蹤。

其中，所述的模擬觀察算法，它是基于學習可以將演示從一個語境(例如，第三人視點和人類演示者)轉換到另一語境(例如，第一人視點和機器人)的語境翻譯模型；通過訓練一個模型來執行這種轉換，從而獲得一個適合追蹤演示行為的特征。

其中，所述的學習語境翻譯，由于每個演示D_k都是從一個未知的語境ω_k生成的，所以學習者不能在自己的語境ω_l中直接跟蹤這些演示；然而，由于有來自多個未知但不同背景的演示，所以可以在這些演示中學習一個語境翻譯模型；只假設在特定語境ω_k中演示的第一幀可以用于隱含地提取關于語境ω_k的信息。

進一步地，所述的翻譯模型，翻譯模型是通過對演示和進行訓練的，其中，D_i來自未知語境ω_i(源語境)，D_j來自未知語境ω_j(目標語境)；該模型必須學習輸出D_j條件下的觀測值D_i和目標語境ω_j中的第一個觀測值因此，模型從目標環境中觀察單個結果，并且通過從源語境翻譯演示來預測在該語境中將來的觀察；一旦被訓練，這個模型可以提供任何演示D_k，將其轉化為學習者的語境ω_l進行跟蹤。

進一步地，所述的翻譯，通過學習整體翻譯函數使得其輸出對于所有t和每對訓練演示D_i和D_j都緊密匹配也就是說，該模型將來自D_i的觀察結果轉化為語境ω_j，僅限于D_j中的第一個觀察

進一步地，所述的模型的組件，該模型由四個組件組成：組件一為源觀測編碼器表示為z₁；組件二為將觀測值編碼為源和目標特征的目標初始觀測編碼器表示為z₂；組件三為轉換器z₃＝T(z₁,z₂)，其將特征z₁轉換為z₂的語境的特征，表示為z₃；組件四為將目標語境解碼的解碼器Dec(z₃)，解碼為