[發明專利]一種機器人表情在線驅動方法

在審

• 申請號: 202210673780.0
• 申請日: 2022-06-15
• 公開（公告）號: CN115122345A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 黃忠;劉娟;郭玉祥;張丹妮;王穎;陶孟元
• 申請（專利權）人: 安慶師范大學
• 主分類號: B25J11/00
• 分類號: B25J11/00;G06V40/16
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 丁瑞瑞

本發明公開了一種機器人表情在線驅動方法，所述方法包括：將表演者的面部驅動序列輸入基于區域時空注意力的面部形變提取子網生成面部各個區域的時空語義表示向量；將機器人的驅動電機的驅動序列以及表演者的面部各個區域的時空語義表示向量輸入面部?電機交叉協同子網；面部?電機交叉協同子網的輸出結果輸入基于B樣條平滑約束的驅動序列生成子網，并基于多層LSTM和B樣條平滑約束實現未來電機驅動序列的滾動生成和規整；實現基于RobotFELNet的機器人在線表情學習；本發明的優點在于：為機器人面部表情學習提供更為精確的目標驅動數據，最終使得機器人學習的面部表情更為逼真。

技術領域

本發明涉及機器人面部表情學習領域，更具體涉及一種機器人表情在線驅動方法。

背景技術

隨著具備人類外形和行動能力的類人機器人逐漸應用于服務導覽、智能迎賓、老人陪護等人機交互場景，如何讓“形似”的機器人具備“神似”的面部表情，成為自然人機交互領域新的研究熱點。受電機數目和運動自由度增加的影響，人工編排的機器人表情難以滿足交互場景中“神似”的要求，其逼真度和運動平滑度有待進一步提高。因此，在硬件結構和機械慣性約束下，探索機器人對人類面部表情的自動學習方式成為自然人機交互領域亟待解決的關鍵問題。

基于人類示教的機器人面部表情學習是基于表演驅動(或示范教學)的思想，將表演者表情序列映射到電機驅動序列并驅動機器人呈現與其一致表情。近些年，研究者基于關鍵幀技術、多項式擬合和神經網絡等提出了多種機器人自動表情學習方法。以上這些方法能夠捕獲面部特征與電機驅動向量之間的單幀靜態映射關系，但無法反映面部肌肉與驅動電機的多幀時空協同信息，因此機器人學習逼真度不高。例如，中國專利公開號CN108908353A，公開了一種基于平滑約束逆向機械模型的機器人表情模仿方法，所述方法包括：A：提取機器人面部特征向量：B：構建基于面部特征序列到電機控制序列的平滑約束逆向機械模型：C：以表演者實時面部特征為目標，基于平滑約束逆向機械模型生成最優電機控制序列驅動機器人面部電機使所述機器人呈現出與所述表演者的臉部對應的表情。該方法基于神經網絡構建平滑約束逆向機械模型，能夠捕獲面部特征與電機驅動向量之間的多幀映射關系，無法生成面部各個區域的時空信息，無法反映面部肌肉與驅動電機的連續時空協同信息，從而機器人學習逼真度不高。

發明內容

本發明所要解決的技術問題在于現有技術機器人表情學習方法無法生成面部各個區域的時空信息，無法反映面部肌肉與驅動電機的連續時空協同信息，從而機器人學習逼真度不高的問題。

本發明通過以下技術手段實現解決上述技術問題的：一種機器人表情在線驅動方法，所述方法基于RobotFELNet實現，所述RobotFELNet包括基于Transformer編碼結構構建的面部形變提取子網、面部-電機交叉協同子網以及驅動序列生成子網，所述方法包括：

步驟一：將表演者的面部驅動序列輸入基于區域時空注意力的面部形變提取子網生成面部各個區域的時空語義表示向量；

步驟二：機器人的面部表情由多個驅動電機驅動，將機器人的驅動電機的驅動序列以及表演者的面部各個區域的時空語義表示向量輸入面部-電機交叉協同子網，實現面部形變時空語義到電機驅動序列的映射；

步驟三：面部-電機交叉協同子網的輸出結果輸入基于B樣條平滑約束的驅動序列生成子網，并基于多層LSTM和B樣條平滑約束實現未來電機驅動序列的滾動生成和規整；

步驟四：構建最小化目標函數，采用梯度下降法求解RobotFELNet的最優參數；

步驟五：在最優參數下實現基于RobotFELNet的機器人在線表情學習。

本發明基于Transformer編碼結構構建面部形變提取子網，提取面部形變序列的時空特征，生成面部各個區域的時空語義表示向量，表征面部形變序列不同層次、不同粒度的時空語義信息，能夠反映面部肌肉與驅動電機的連續時空協同信息，從而為機器人面部表情學習提供更為精確的目標驅動數據，最終使得機器人學習的面部表情更為逼真。