[發(fā)明專利]基于深度學習的手勢識別方法及設備

在審

• 申請?zhí)枺?/td>: 201910242356.9
• 申請日: 2019-03-28
• 公開（公告）號: CN109977875A
• 公開（公告）日: 2019-07-05
• 發(fā)明（設計）人: 袁飛;華仁紅;馬向軍;孫文鳳
• 申請（專利權）人: 北京易達圖靈科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京路浩知識產(chǎn)權代理有限公司 11002
• 代理人: 王慶龍;馬英迪

本發(fā)明實施例提供一種基于深度學習的手勢識別方法及設備，所述方法包括：將待識別圖像輸入預先構建的手勢識別模型；其中，所述手勢識別模型基于預先標注的圖像樣本和YOLOv3深度學習網(wǎng)絡訓練獲得；基于手勢識別模型的輸出結果，獲得待識別圖像中包含手勢的子圖像。解決現(xiàn)有技術中手勢識別方法對小目標不夠魯棒，目標集中時容易漏檢和誤檢的技術問題，實現(xiàn)快速和準確進行手勢識別的技術效果。

技術領域

本發(fā)明實施例涉及視頻技術領域，尤其涉及一種基于深度學習的手勢識別方法及設備。

背景技術

人機交互是人與計算機或其它機器以一定的方式完成信息交換的過程，因其設備簡單、使用便捷等特點，成為近年來人機交互領域的研究熱點。基于HOG、SIFT等傳統(tǒng)特征的手勢識別方法識別準確率不高，而且很難識別圖片中的多個手勢目標。目前對手勢識別的研究中，多數(shù)是對單只人手的手勢進行識別，在手勢交互過程中很多時候會出現(xiàn)雙手操作以及其他的手。

背景技術一首先通過攝像頭來采集圖像，利用背景差分法結合顏色直方圖檢測動態(tài)信息完成手勢的檢測。其次采用主流的非線性跟蹤算法—粒子濾波算法來跟蹤手勢。背景技術二首先利用差分法縮小手勢搜索區(qū)域，然后在多尺度下檢測手的位置，進而實現(xiàn)跟蹤，最后進行分類識別。背景技術三首先通過人工標注數(shù)據(jù)集，利用SSD網(wǎng)絡中的VGG16來提取特征，然后利用softmax層輸出每類手勢的概率。

背景技術一和二采用傳統(tǒng)的背景差分法和直方圖信息來檢測手勢位置，背景圖像的建模和模擬的準確程度，直接影響到檢測的效果。不論任何運動目標檢測算法，都要盡可能的滿足任何圖像場景的處理要求，但是由于場景的復雜性、不可預知性、以及各種環(huán)境干擾和噪聲的存在，如光照的突然變化、實際背景圖像中有些物體的波動、攝像機的抖動、運動物體進出場景對原場景的影響等，使得背景的建模和模擬變得比較困難。背景技術三利用深度學習SSD網(wǎng)絡來識別手勢，SSD算法一個比較大的缺點是對小目標不夠魯棒，目標集中時容易漏檢和誤檢。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種基于深度學習的手勢識別方法及設備，用以解決現(xiàn)有技術中手勢識別方法對小目標不夠魯棒，目標集中時容易漏檢和誤檢的技術問題，實現(xiàn)快速和準確手勢識別的技術效果。

本發(fā)明實施例提供一種基于深度學習的手勢識別方法，包括：

將待識別圖像輸入預先構建的手勢識別模型；其中，所述手勢識別模型基于預先標注的圖像樣本和YOLOv3深度學習網(wǎng)絡訓練獲得；

基于手勢識別模型的輸出結果，獲得待識別圖像中包含手勢的子圖像。

進一步，將待識別圖像輸入預先構建的手勢識別模型，之前還包括：

獲取第一圖像樣本集，并對第一圖像樣本集進行標注；

基于標注的第一圖像樣本集和YOLOv3深度學習網(wǎng)絡訓練獲得手勢識別模型。

進一步，基于標注的第一圖像樣本集和YOLOv3深度學習網(wǎng)絡訓練獲得手勢識別模型，之前還包括：

調(diào)整YOLOv3網(wǎng)絡層輸入大小，使網(wǎng)絡層提取到的手勢特征信息增加；

修改最后一層拼接層route的參數(shù)；

修改上采樣層upsampe層的參數(shù)。

進一步，基于標注的第一圖像樣本集和YOLOv3深度學習網(wǎng)絡訓練獲得手勢識別模型，之前還包括：

在YOLOv3深度學習網(wǎng)絡上添加focus loss損失函數(shù)。

進一步，基于標注的第一圖像樣本集和YOLOv3深度學習網(wǎng)絡訓練獲得手勢識別模型，包括：

基于標注的第一圖像樣本集和YOLOv3深度學習網(wǎng)絡訓練獲得手勢識別模型，直至loss不再下降為止。