[發(fā)明專利]基于膚色檢測和深度學習的視頻手勢的識別方法及裝置

有效

• 申請?zhí)枺?/td>: 201811534444.8
• 申請日: 2018-12-14
• 公開（公告）號: CN109684959B
• 公開（公告）日: 2021-08-03
• 發(fā)明（設計）人: 種衍文;黃瀚文;潘少明;李紅
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/11;G06T7/13;G06T7/62;G06T7/66;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產(chǎn)權代理事務所(特殊普通合伙) 42222
• 代理人: 羅飛

本發(fā)明提供了一種基于膚色檢測和深度學習的視頻手勢的識別方法及裝置，其中的方法獲取視頻數(shù)據(jù)后，通過預設皮膚色彩特征分割模型進行膚色判別后，分割出皮膚區(qū)域，并得到二值化圖像，然后對二值化圖像進行輪廓提取，提取出手部輪廓，再利用預設手勢識別模型對提取出的手部輪廓進行識別。實現(xiàn)了提高手勢識別的效率以及精度的技術效果。

技術領域

本發(fā)明涉及手勢識別技術領域，具體涉及一種基于膚色檢測和深度學習的視頻手勢的識別方法及裝置。

背景技術

視頻是一種常見的數(shù)據(jù)類型，而手勢則是一種人類常用的肢體語言。近年來，隨著計算機視覺和機器學習等相關學科的發(fā)展，人機交互技術在人們?nèi)粘Ｉ钪邪缪葜絹碓街匾慕巧６藱C交互作為計算機科學研究領域中的一個重要組成部分，其發(fā)展歷程己歷經(jīng)了半個多世紀，并且取得了很多成果。相比于傳統(tǒng)的計算機鼠標鍵盤交互方式，人機交互可以給用戶更加方便、快捷、舒適的交互體驗。

由于人機交互具有多方面的優(yōu)點，各種交互技術近年來不斷出現(xiàn)，包括表情、手勢、動作等交互技術。在這些交互方式中，手勢具有方便、直接的特點，因而手勢識別也成為了研究的熱點領域。手勢作為一種符合人類日常交流習慣的表達方式，人們在日常生活中通常會輔以手勢來傳達一些信息或表達某種的意圖。而手勢則包括靜態(tài)手勢和動態(tài)手勢兩種類型。起初數(shù)據(jù)手套成為了研究的熱點，用戶只需要帶上手套并完成手勢，計算機就可以根據(jù)手指的位置、角度等信息來判斷用戶的手勢，這種方法雖然精度較高，但是用戶在使用過程中十分不便，嚴重影響了手勢的自然性，同時數(shù)據(jù)手套的成本也較高，而且可以識別的手勢數(shù)量也較少，這導致了其難以被大范圍推廣。基于數(shù)據(jù)手套的這些限制，光學標記法誕生了。該方法也可提供良好的識別效果，但仍需較為復雜的設備。使用設備直接檢測用戶手勢的方式雖然使得手勢識別的準確度和穩(wěn)定性得到了提高，但卻限制了手勢的自然表達方式，而這本身就是手勢識別的一大優(yōu)點，因此這種方法也未能取得令人滿意的效果。

而近代才出現(xiàn)的基于視覺的手勢識別系統(tǒng)，相比于穿戴設備或光學標記手勢識別系統(tǒng)，其能夠使操作者不需要佩戴任何設備、以更加自然的方式進行人機交互，同時也能獲得較高的精度。這種方法將視頻采集設備拍攝到的用戶圖像信息傳輸給計算機，然后通過計算機視覺技術進行處理，進而對手勢進行識別。這種方法的優(yōu)勢在于：設備成本相對低，而且用戶在操作時基本不會受到限制和束縛，給予了用戶方便且舒適的交互方式。因此這就成為了手勢識別未來的發(fā)展趨勢，即在自然場景下基于視覺來進行手勢識別。

本發(fā)明申請人在實施本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有基于視覺的手勢識別方法，至少存在如下技術問題：很少采用經(jīng)驗信息，且手勢識別效率低、識別精度不高。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種基于膚色檢測和深度學習的視頻手勢的識別方法及裝置，用以解決或者至少部分解決現(xiàn)有技術的方法存在的手勢識別效率低、識別精度不高的技術問題。

本發(fā)明第一方面提供了一種基于膚色檢測和深度學習的視頻手勢的識別方法，包括：

步驟S1：獲取視頻數(shù)據(jù)，所述視頻數(shù)據(jù)由RGB圖像構成；

步驟S2：基于預設皮膚色彩特征分割模型，對視頻數(shù)據(jù)進行逐幀處理，分割出皮膚區(qū)域，并對皮膚區(qū)域?qū)膱D像進行二值化，獲得二值化圖像；

步驟S3：從二值化圖像中提取出手部輪廓；

步驟S4：基于預設手勢識別模型對提取出的手部輪廓進行識別，其中，預設手勢識別模型由已有的訓練數(shù)據(jù)，采用金字塔池化模塊搭配注意力機制訓練得到，其中，已有的訓練數(shù)據(jù)包含所需要判別的所有手勢類型，金字塔池化模塊搭配注意力機制通過增加感受野對手勢類型進行細節(jié)分類。

在一種實施方式中，步驟S2具體包括：

步驟S2.1：通過預設膚色皮膚色彩特征分割模型，將符合預設條件的區(qū)域作為皮膚區(qū)域，其中，預設條件為RGB圖像的R值大于85、R-B值大于10且R-G值大于10；