[發(fā)明專利]手勢識別及手勢識別網(wǎng)絡的訓練方法和裝置、介質和設備

在審

• 申請?zhí)枺?/td>: 202011426908.0
• 申請日: 2020-12-09
• 公開（公告）號: CN112527113A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設計）人: 徐亮;竇宇豪;杜敏;徐根利
• 申請（專利權）人: 北京地平線信息技術有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思源智匯知識產(chǎn)權代理有限公司 11657
• 代理人: 毛麗琴

本公開實施例公開了一種手勢識別及手勢識別網(wǎng)絡的訓練方法和裝置、介質和設備，其中，手勢識別方法包括：對圖像序列中第一圖像中手部的圖像進行特征提取，得到第一特征；基于所述第一特征預測手部關鍵點，得到第一關鍵點預測結果；基于所述第一特征和至少一個第二特征、以及所述第一關鍵點預測結果和至少一個第二關鍵點預測結果進行手勢識別，得到手勢識別結果；其中，所述至少一個第二特征為對所述圖像序列中所述第一圖像鄰近的至少一個第二圖像中所述手部的圖像進行特征提取對應得到的特征，所述至少一個第二關鍵點預測結果為基于所述至少一個第二特征預測手部關鍵點對應得到的關鍵點預測結果。本公開實施例可以提高手勢識別結果的準確性。

技術領域

本公開涉及計算機視覺技術，尤其是一種手勢識別及手勢識別網(wǎng)絡的訓練方法和裝置、介質和設備。

背景技術

由于手勢識別具有最直觀的人機交互體驗，被廣泛應用于娛樂、自動駕駛等領域，例如，可用于車內(nèi)娛樂系統(tǒng)互動和控制。手勢識別很早就開始被研究。隨著人工智能/深度學習技術的發(fā)展，使高準確度的視覺手勢識別成為可能。

現(xiàn)有基于視覺的手勢識別方法，較常見的是通過對人手局部區(qū)域圖像進行特征提取和分類，來得到手勢識別結果。

發(fā)明內(nèi)容

為了解決上述技術問題，提出了本公開。本公開的實施例提供了一種手勢識別及手勢識別網(wǎng)絡的訓練方法和裝置、介質和設備。

根據(jù)本公開實施例的一個方面，提供了一種手勢識別方法，包括：

對圖像序列中第一圖像中手部的圖像進行特征提取，得到第一特征；

基于所述第一特征預測手部關鍵點，得到第一關鍵點預測結果；

基于所述第一特征和至少一個第二特征、以及所述第一關鍵點預測結果和至少一個第二關鍵點預測結果進行手勢識別，得到手勢識別結果；

其中，所述至少一個第二特征為對所述圖像序列中所述第一圖像鄰近的至少一個第二圖像中所述手部的圖像進行特征提取對應得到的特征，所述至少一個第二關鍵點預測結果為基于所述至少一個第二特征預測手部關鍵點對應得到的關鍵點預測結果。

根據(jù)本公開實施例的另一個方面，提供了一種手勢識別網(wǎng)絡的訓練方法，所述手勢識別網(wǎng)絡用于實現(xiàn)本公開任一實施例所述手勢識別方法，所述手勢識別網(wǎng)絡包括：用于進行特征提取的第一神經(jīng)網(wǎng)絡、用于預測手部關鍵點的第二神經(jīng)網(wǎng)絡、和用于進行手勢識別的第三神經(jīng)網(wǎng)絡；所述方法包括：

將樣本圖像序列輸入所述手勢識別網(wǎng)絡；

獲取所述第二神經(jīng)網(wǎng)絡輸出的、所述樣本圖像序列中第一樣本圖像對應的第一關鍵點預測信息，以及所述第三神經(jīng)網(wǎng)絡輸出的、所述第一樣本圖像對應的第一手勢識別信息；

獲取所述第一關鍵點預測信息與第一樣本圖像標注的關鍵點標注信息之間的第一差異，以及所述第一手勢識別信息與所述第一樣本圖像標注的手勢類別信息之間的第二差異；

基于所述第一差異和所述第二差異，對所述手勢識別網(wǎng)絡進行訓練。

根據(jù)本公開實施例的又一個方面，提供了一種手勢識別裝置，包括：

特征提取模塊，用于對圖像序列中第一圖像中手部的圖像進行特征提取，得到第一特征；

關鍵點預測模塊，用于基于所述特征提取模塊得到的所述第一特征預測手部關鍵點，得到第一關鍵點預測結果；

手勢識別模塊，用于基于所述特征提取模塊得到的第一特征和至少一個第二特征、以及所述關鍵點預測模塊得到的所述第一關鍵點預測結果和至少一個第二關鍵點預測結果，進行手勢識別，得到手勢識別結果；