[發明專利]一種基于語境翻譯的機器人模仿學習方法

在審

• 申請號: 201710927010.3
• 申請日: 2017-10-09
• 公開（公告）號: CN107622311A
• 公開（公告）日: 2018-01-23
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06N99/00
• 分類號: G06N99/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于語境翻譯的機器人模仿學習方法，其特征在于，主要包括學習語境翻譯(一)；用于特征追蹤的獎勵功能(二)；加強學習算法的特征追蹤(三)。

2.基于權利要求書1所述的模擬觀察算法，其特征在于，它是基于學習可以將演示從一個語境(例如，第三人視點和人類演示者)轉換到另一語境(例如，第一人視點和機器人)的語境翻譯模型；通過訓練一個模型來執行這種轉換，從而獲得一個適合追蹤演示行為的特征。

3.基于權利要求書1所述的學習語境翻譯(一)，其特征在于，由于每個演示D_k都是從一個未知的語境ω_k生成的，所以學習者不能在自己的語境ω_l中直接跟蹤這些演示；然而，由于有來自多個未知但不同背景的演示，所以可以在這些演示中學習一個語境翻譯模型；只假設在特定語境ω_k中演示的第一幀可以用于隱含地提取關于語境ω_k的信息。

4.基于權利要求書3所述的翻譯模型，其特征在于，翻譯模型是通過對演示和進行訓練的，其中，D_j來自未知語境ω_i(源語境)，D_j來自未知語境ω_j(目標語境)；該模型必須學習輸出D_j條件下的觀測值D_i和目標語境ω_j中的第一個觀測值因此，模型從目標環境中觀察單個結果，并且通過從源語境翻譯演示來預測在該語境中將來的觀察；一旦被訓練，這個模型可以提供任何演示D_k，將其轉化為學習者的語境ω_l進行跟蹤。

5.基于權利要求書4所述的翻譯，其特征在于，通過學習整體翻譯函數使得其輸出對于所有t和每對訓練演示D_i和D_j都緊密匹配也就是說，該模型將來自D_i的觀察結果轉化為語境ω_j，僅限于D_j中的第一個觀察

6.基于權利要求書3所述的模型的組件，其特征在于，該模型由四個組件組成：組件一為源觀測編碼器表示為z₁；組件二為將觀測值編碼為源和目標特征的目標初始觀測編碼器表示為z₂；組件三為轉換器z₃＝T(z₁,z₂)，其將特征z₁轉換為z₂的語境的特征，表示為z₃；組件四為將目標語境解碼的解碼器Dec(z₃)，解碼為

使用來表示從輸入觀察和語境圖像生成特征z₃的特征提取器；編碼器Enc₁和Enc₂可以具有不同的權重或束縛，這取決于演示場景的多樣性；該模型在輸出端和端對端之間進行了一個平方誤差損失的監督。

7.基于權利要求書6所述的編碼器和解碼器，其特征在于，為了確保翻譯的特征z₃形成與編碼圖像z₁內部一致的表示，共同訓練翻譯模型編碼器Enc₁和解碼器Dec作為自動編碼器，具有重建損耗并且同時使特征表示此自動編碼器，以將其與特征z₃對齊，使用損失這使編碼器Enc₁和解碼器Dec采用一致的特征表示，使得目標語境觀察被編碼成與被翻譯的特征z₃相似的特征；整個模型的訓練目標由組合損失函數給出，其中，D_i和D_j是從訓練集中隨機選擇的一對演示，而λ₁和λ₂是超參數。