[發明專利]人機交互方法、裝置、存儲介質及電子設備

有效

• 申請號: 201910532871.0
• 申請日: 2019-06-19
• 公開（公告）號: CN110347247B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 陳澤洲;劉兆祥
• 申請（專利權）人: 達闥機器人股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/16;G06V40/10
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 張巖龍

本公開涉及一種人機交互方法、裝置、存儲介質及電子設備，所述方法包括：獲取攝像頭在第一時刻拍攝的第一手勢圖像；將存儲的N張第二手勢圖像對應的手勢特征和所述第一手勢圖像輸入至表情模型網絡，獲得所述表情模型網絡輸出的表情數據，所述手勢特征提取模型用于提取所述第一手勢圖像對應的手勢特征；所述手勢特征序列生成模型用于根據所述第一手勢圖像對應的所述手勢特征、以及N張第二手勢圖像對應的手勢特征，生成手勢特征序列；所述表情識別模型用于根據所述手勢特征序列，識別出所述表情數據；在機器人上展現所述表情數據。一方面可以為后續的表情識別提供準確的數據支持。另一方面，可以使得本公開提供的人機交互方法的使用范圍更廣。

技術領域

本公開涉及人機交互領域，具體地，涉及一種人機交互方法、裝置、存儲介質及電子設備。

背景技術

計算機技術迅速發展，人工智能也在日益精進，人機交互在人們的生活中也越來越重要，如增強現實應用，混合現實應用和教育應用等等。現有技術中，人機交互通常是根據用戶操作生成對應的回答。而在上述交互過程中,一般是對用戶的操作進行模式匹配或語音分析，獲得對應的回答，交互方式比較固定、單一，難以滿足用戶需求。

發明內容

本公開的目的是提供一種多樣性的、穩定的人機交互方法、裝置、存儲介質及電子設備。

為了實現上述目的，根據本公開的第一方面，提供一種人機交互方法，所述方法包括：

獲取攝像頭在第一時刻拍攝的第一手勢圖像；

將存儲的N張第二手勢圖像對應的手勢特征和所述第一手勢圖像輸入至表情模型網絡，獲得所述表情模型網絡輸出的表情數據，其中，N為正整數，所述N張第二手勢圖像為所述攝像頭分別在所述第一時刻的前N個時刻拍攝的手勢圖像，所述前N個時刻與所述第一時刻為連續的；以及，所述表情模型網絡包括手勢特征提取模型、手勢特征序列生成模型以及表情識別模型，所述手勢特征序列生成模型的輸入與所述手勢特征提取模型的輸出耦合，所述表情識別模型的輸入與所述手勢特征序列生成模型的輸出耦合；所述手勢特征提取模型用于提取所述第一手勢圖像對應的手勢特征；所述手勢特征序列生成模型用于根據所述第一手勢圖像對應的所述手勢特征、以及所述N張第二手勢圖像對應的手勢特征，生成手勢特征序列；所述表情識別模型用于根據所述手勢特征序列，識別出所述表情數據；

在機器人上展現所述表情數據。

可選地，所述方法還包括：

通過手語識別模型，獲得與所述手勢特征序列對應的文本信息；以及，

所述表情識別模型的輸入還與所述手語識別模型的輸出耦合，用于根據所述手勢特征序列和該手勢特征序列對應的文本信息，識別出所述表情數據。

可選地，所述表情模型網絡是根據多組歷史手勢圖像、以及與每組歷史手勢圖像一一對應的歷史表情數據訓練得到的，其中，每組歷史手勢圖像包括連續的N+1個歷史時刻中每一歷史時刻對應的手勢圖像。

可選地，所述手勢特征提取模型包括手部提取模型和手勢特征識別模型，所述手部提取模型用于提取所述第一手勢圖像中的手部區域圖像；所述手勢特征識別模型的輸入與所述手部提取模型的輸出耦合，用于根據所述手部區域圖像，識別出所述第一手勢圖像對應的所述手勢特征。

可選地，在所述手勢特征提取模型提取所述第一手勢圖像對應的手勢特征之后，所述方法還包括：

存儲所述手勢特征提取模型提取的所述第一手勢圖像對應的手勢特征。

可選地，所述在機器人上展現所述表情數據，包括：

根據所述表情數據，控制所述機器人的面部表情。

根據本公開的第二方面，提供一種人機交互裝置，所述裝置包括：

第一獲取模塊，用于獲取攝像頭在第一時刻拍攝的第一手勢圖像；