[發明專利]手勢識別方法、基于手勢識別的交互方法與混合現實眼鏡

在審

• 申請號: 202010914531.7
• 申請日: 2020-09-02
• 公開（公告）號: CN112183217A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 陳俊宏;張志寬;劉聰;田第鴻;何震宇;柳偉
• 申請（專利權）人: 鵬城實驗室;哈爾濱工業大學（深圳）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 宋朝政

1.一種手勢識別方法，其特征在于，所述方法包括以下步驟：

獲取待識別手勢的深度圖序列；

基于所述深度圖序列，獲取所述深度圖序列的關鍵幀序列；

將所述關鍵幀序列輸入預先訓練的手勢識別模型，以獲得所述待識別手勢的第一語義序列；

基于所述第一語義序列，獲得所述待識別手勢的語義結果。

2.根據權利要求1所述的手勢識別方法，其特征在于，所述將所述關鍵幀序列輸入預先訓練的手勢識別模型，以獲得所述待識別手勢的第一語義序列的步驟，包括：

通過卷積層3D CNN提取所述關鍵幀序列中每幀圖像的圖像空間特征；

通過時間遞歸層LSTM RNN提取所述關鍵幀序列的時間關系特征；

結合所述圖像空間特征與所述時間關系特征，獲得所述關鍵幀序列的時空特征；

將所述時空特征輸入所述分類器輸出層，以獲得所述待識別手勢的語義序列。

3.根據權利要求1所述的手勢識別方法，其特征在于，所述基于所述語義序列，獲得所述待識別手勢的語義結果的步驟，包括：

將所述語義序列輸入預先訓練的語義翻譯模型，以獲得所述語義結果。

4.根據權利要求1所述的手勢識別方法，其特征在于，所述獲取待識別手勢的深度圖序列的步驟，包括：

獲取深度攝像頭采集的待識別手勢的深度圖序列。

5.一種基于手勢識別的交互方法，所述方法應用于混合現實設備，其特征在于，所述方法包括以下步驟：

獲取待識別手勢的深度圖序列；

基于所述深度圖序列，獲取所述深度圖序列的關鍵幀序列；

將所述關鍵幀序列輸入預先訓練的手勢識別模型，以獲得所述待識別手勢的第一語義序列；

基于所述語義序列，獲得所述待識別手勢的語義結果；

輸出所述語義結果，并獲取針對所述語義結果的語音應答信息；

基于所述語音應答信息，提取語音片段；

將所述語音片段輸入預先訓練的語音翻譯模型，以獲得所述語音應答信息的第二語義序列；

基于所述第二語義序列，獲取手勢圖形序列；

顯示所述手勢圖形序列。

6.一種手勢識別裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取待識別手勢的深度圖；

第二獲取獲取模塊，用于基于所述深度圖，獲取所述深度圖的關鍵幀序列；

識別模塊，用于將所述關鍵幀序列輸入預先訓練的手勢識別模型，以獲得所述待識別手勢的語義序列；

獲得模塊，用于基于所述語義序列，獲得所述待識別手勢的語義結果。

7.一種基于手勢識別的交互裝置，應用于混合現實設備，所述混合現實設備包括深度攝像頭、用戶交互終端與混合現實顯示終端，其特征在于，所述基于手勢識別的交互裝置包括：

第一獲取模塊，用于獲取待識別手勢的深度圖；

第二獲取獲取模塊，用于基于所述深度圖，獲取所述深度圖的關鍵幀序列；

識別模塊，用于將所述關鍵幀序列輸入預先訓練的手勢識別模型，以獲得所述待識別手勢的第一語義序列；

獲得模塊，基于所述第一語義序列，獲得所述待識別手勢的語義結果；

交互模塊，用于輸出所述語義結果，并獲取針對所述語義結果的語音應答信息；

提取模塊，用于基于所述語音應答信息，提取語音片段；

翻譯模塊，用于將所述語音片段輸入預先訓練的語音翻譯模型，以獲得所述語音應答信息的第二語義序列；

第四獲取模塊，用于基于所述第二語義序列，獲取手勢圖形序列；

顯示模塊，用于顯示所述手勢圖形序列。