[發明專利]人機交互方法、裝置、存儲介質及電子設備

有效

• 申請號: 201910532871.0
• 申請日: 2019-06-19
• 公開（公告）號: CN110347247B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 陳澤洲;劉兆祥
• 申請（專利權）人: 達闥機器人股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/16;G06V40/10
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 張巖龍

1.一種人機交互方法，其特征在于，所述方法包括：

獲取攝像頭在第一時刻拍攝的第一手勢圖像；

將存儲的N張第二手勢圖像對應的手勢特征和所述第一手勢圖像輸入至表情模型網絡，獲得所述表情模型網絡輸出的表情數據，其中，N為正整數，所述N張第二手勢圖像為所述攝像頭分別在所述第一時刻的前N個時刻拍攝的手勢圖像，所述前N個時刻與所述第一時刻為連續的；以及，所述表情模型網絡包括手勢特征提取模型、手勢特征序列生成模型以及表情識別模型，所述手勢特征序列生成模型的輸入與所述手勢特征提取模型的輸出耦合，所述表情識別模型的輸入與所述手勢特征序列生成模型的輸出耦合；所述手勢特征提取模型用于提取所述第一手勢圖像對應的手勢特征；所述手勢特征序列生成模型用于根據所述第一手勢圖像對應的所述手勢特征、以及所述N張第二手勢圖像對應的手勢特征，生成手勢特征序列；所述表情識別模型用于根據所述手勢特征序列，識別出所述表情數據；

在機器人上展現所述表情數據；

其中，所述手勢特征提取模型包括手部提取模型和手勢特征識別模型，所述手部提取模型用于提取所述第一手勢圖像中的手部區域圖像；所述手勢特征識別模型的輸入與所述手部提取模型的輸出耦合，用于根據所述手部區域圖像，識別出所述第一手勢圖像對應的所述手勢特征。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

通過手語識別模型，獲得與所述手勢特征序列對應的文本信息；以及，

所述表情識別模型的輸入還與所述手語識別模型的輸出耦合，用于根據所述手勢特征序列和該手勢特征序列對應的文本信息，識別出所述表情數據。

3.根據權利要求1所述的方法，其特征在于，所述表情模型網絡是根據多組歷史手勢圖像、以及與每組歷史手勢圖像一一對應的歷史表情數據訓練得到的，其中，每組歷史手勢圖像包括連續的N+1個歷史時刻中每一歷史時刻對應的手勢圖像。

4.根據權利要求1所述的方法，其特征在于，在所述手勢特征提取模型提取所述第一手勢圖像對應的手勢特征之后，所述方法還包括：

存儲所述手勢特征提取模型提取的所述第一手勢圖像對應的手勢特征。

5.根據權利要求1-4中任一項所述的方法，其特征在于，所述在機器人上展現所述表情數據，包括：

根據所述表情數據，控制所述機器人的面部表情。

6.一種人機交互裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取攝像頭在第一時刻拍攝的第一手勢圖像；

第二獲取模塊，用于將存儲的N張第二手勢圖像對應的手勢特征和所述第一手勢圖像輸入至表情模型網絡，獲得所述表情模型網絡輸出的表情數據，其中，N為正整數，所述N張第二手勢圖像為所述攝像頭分別在所述第一時刻的前N個時刻拍攝的手勢圖像，所述前N個時刻與所述第一時刻為連續的；以及，所述表情模型網絡包括手勢特征提取模型、手勢特征序列生成模型以及表情識別模型，所述手勢特征序列生成模型的輸入與所述手勢特征提取模型的輸出耦合，所述表情識別模型的輸入與所述手勢特征序列生成模型的輸出耦合；所述手勢特征提取模型用于提取所述第一手勢圖像對應的手勢特征；所述手勢特征序列生成模型用于根據所述第一手勢圖像對應的所述手勢特征、以及所述N張第二手勢圖像對應的手勢特征，生成手勢特征序列；所述表情識別模型用于根據所述手勢特征序列，識別出所述表情數據；

展示模塊，用于在機器人上展現所述表情數據；

其中，所述手勢特征提取模型包括手部提取模型和手勢特征識別模型，所述手部提取模型用于提取所述第一手勢圖像中的手部區域圖像；所述手勢特征識別模型的輸入與所述手部提取模型的輸出耦合，用于根據所述手部區域圖像，識別出所述第一手勢圖像對應的所述手勢特征。

7.根據權利要求6所述的裝置，其特征在于，所述裝置還包括：

第三獲取模塊，用于通過手語識別模型，獲得與所述手勢特征序列對應的文本信息；以及，

所述表情識別模型的輸入還與所述手語識別模型的輸出耦合，用于根據所述手勢特征序列和該手勢特征序列對應的文本信息，識別出所述表情數據。