[發(fā)明專利]手勢識別方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202110282827.6
• 申請日: 2021-03-16
• 公開（公告）號: CN113190107B
• 公開（公告）日: 2023-04-14
• 發(fā)明（設(shè)計）人: 吳濤
• 申請（專利權(quán)）人: 青島小鳥看看科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京風(fēng)雅頌專利代理有限公司 11403
• 代理人: 徐雅琴

1.一種手勢識別方法，包括：

接收用戶在第一時刻輸入的第一手勢軌跡；

將所述第一手勢軌跡輸入到目標(biāo)手勢識別模型中，獲得第一手勢指令；其中，所述目標(biāo)手勢識別模型包括第一手勢識別模型和第二手勢識別模型，所述第一手勢識別模型用于識別屬于第一類別的手勢動作；所述第二手勢識別模型至少用于識別屬于第二類別的手勢動作，以及預(yù)測用戶下一時刻的手勢指令；所述第二手勢識別模型是基于樣本手勢特征信息和用于表征所述樣本手勢特征信息的用戶意圖信息訓(xùn)練得到的，所述樣本手勢特征是根據(jù)所述第一手勢識別模型識別樣本手勢軌跡所獲取的輸出和輸入所述樣本手勢軌跡時的樣本時間切片所確定的；

獲取第二時刻的第二手勢指令，其中，所述第二時刻早于所述第一時刻，所述第二手勢指令由所述目標(biāo)手勢識別模型根據(jù)所述用戶在所述第二時刻輸入的第二手勢軌跡預(yù)測獲得；

根據(jù)所述第一手勢指令和所述第二手勢指令，獲得目標(biāo)手勢指令。

2.根據(jù)權(quán)利要求1所述的方法，所述第二手勢識別模型通過以下步驟訓(xùn)練獲得：

獲取樣本數(shù)據(jù)，其中，所述樣本數(shù)據(jù)包括樣本手勢特征信息和用戶意圖信息；

使用所述樣本數(shù)據(jù)訓(xùn)練獲得滿足預(yù)設(shè)收斂條件的所述第二手勢識別模型。

3.根據(jù)權(quán)利要求2所述的方法，所述樣本手勢特征信息通過以下步驟獲得：

獲取任意用戶在樣本時間切片內(nèi)輸入的樣本手勢軌跡；

將所述樣本手勢軌跡輸入到所述第一手勢識別模型中，獲得候選手勢指令；

根據(jù)所述候選手勢指令、所述樣本手勢軌跡和所述樣本時間切片，獲得所述樣本手勢特征信息。

4.根據(jù)權(quán)利要求3所述的方法，所述根據(jù)所述候選手勢指令、所述樣本手勢軌跡和所述樣本時間切片，獲得所述樣本手勢特征信息，包括：

獲取與所述候選手勢指令對應(yīng)的至少一個關(guān)鍵點手勢；

從所述樣本手勢軌跡中，獲取與所述關(guān)鍵點手勢對應(yīng)的樣本手勢圖像；

通過提取所述樣本手勢圖像的特征信息，獲得所述樣本手勢圖像對應(yīng)的特征信息；以及，

獲取所述樣本手勢圖像在所述樣本時間切片中的時間信息；

通過建立所述特征信息和所述時間信息的特征表示信息，獲得所述樣本手勢特征信息。

5.根據(jù)權(quán)利要求2所述的方法，所述用戶意圖信息通過以下步驟獲得：

獲取用戶在輸入樣本手勢軌跡時、輸入的表示用戶意圖的語音數(shù)據(jù)，其中，所述樣本手勢特征信息根據(jù)所述樣本手勢軌跡獲得；

識別所述語音數(shù)據(jù)的語義信息，獲得所述用戶意圖信息。

6.根據(jù)權(quán)利要求1所述的方法，所述第一手勢指令和所述第二手勢指令中均包含至少一個手勢指令；

所述根據(jù)所述第一手勢指令和所述第二手勢指令，獲得目標(biāo)手勢指令，包括：

從所述第一手勢指令和所述第二手勢指令中，獲取相匹配的手勢指令作為第三手勢指令；

根據(jù)所述第三手勢指令，獲得所述目標(biāo)手勢指令。

7.根據(jù)權(quán)利要求6所述的方法，在所述第三手勢指令包括多個手勢指令的情況下，所述根據(jù)所述第三手勢指令，獲得所述目標(biāo)手勢指令，包括：

獲取所述第三手勢指令中的多個手勢指令分別對應(yīng)的置信度；

從所述第三手勢指令中，選取數(shù)值滿足預(yù)設(shè)條件的置信度所對應(yīng)的手勢指令作為所述目標(biāo)手勢指令。

8.一種手勢識別模型的訓(xùn)練方法，包括：

獲取樣本數(shù)據(jù)，其中，所述樣本數(shù)據(jù)包括樣本手勢特征信息和用戶意圖信息，所述用戶意圖信息表示所述樣本手勢特征信息對應(yīng)的用戶意圖；

使用所述樣本數(shù)據(jù)訓(xùn)練獲得滿足預(yù)設(shè)收斂條件的第二手勢識別模型，其中，所述第二手勢識別模型至少用于識別屬于第二類別的手勢軌跡，以及預(yù)測用戶在下一時刻輸入的手勢指令；所述樣本手勢特征是根據(jù)第一手勢識別模型識別樣本手勢軌跡所獲得的輸出和輸入所述樣本手勢軌跡時的樣本時間切片所確定的；所述第一手勢識別模型用于識別屬于第一類別的手勢動作。