[發明專利]一種動靜態手勢識別方法和系統

有效

• 申請號: 201811493321.4
• 申請日: 2018-12-07
• 公開（公告）號: CN109614922B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 吳凡;劉海峰;趙陽;辛學穎;鐘靜連
• 申請（專利權）人: 南京富士通南大軟件技術有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 戴朝榮

本發明公開了一種動靜態手勢識別方法，包括：S1：采集手勢圖像以獲取圖像序列；S2：對采集到手勢圖像采用均值濾波方法去除圖像噪聲；S3：將采集到的手勢圖像從RGB色彩空間轉換成YCrCb空間，并建立橢圓模型，進行膚色檢測，分割出手勢區域并做二值化處理；S4：構建卷積神經網絡模型及其參數優化器，并利用訓練數據得到一個性能最優的分類器；S5：根據識別隊列中的手勢信息，執行手勢靜態識別；S6：根據識別隊列中的手勢信息，執行手勢動態識別。本發明能夠通過普通攝像頭采集手勢數據，采用手勢分割，卷積神經網絡分類及運動軌跡約束來提高手勢識別的準確性及穩定性。

技術領域

本發明涉及圖像處理技術領域，具體而言涉及一種動靜態手勢識別方法和系統。

背景技術

手勢識別是一種自然，便捷，友好的人機交互方式。通過特定感知設備捕捉手勢數據，用圖像識別，機器學習，模式識別等技術，識別和理解手勢的類別及其含義，以此完成對執行設備的操作和控制。手勢識別技術在人機交互，移動終端，娛樂設備，智能家居，汽車電子等領域具有廣泛的應用前景。

在現有的手勢識別技術中，基于接觸式手勢識別方法，具有識別精度高、速度快的優點，但使用起來并不友好；基于穿戴設備的手勢識別技術，需要特定的穿戴設備，成本高且準備過程麻煩；而目前基于視覺的手勢識別技術，大多需要人工提取特征，再進行分類，識別的精度和穩定性不佳，再有一部分視覺手勢識別系統采用帶有深度信息的雙目攝像頭作為手勢采集設備，這種設備價格相對較高，且深度信息的算法比較復雜，計算耗時。

公開為CN107688773A專利文件公開了一種基于深度學習的手勢識別方法，包括以下步驟：對采集到的手勢圖像使用最近鄰內插法來統一圖像的尺寸大小，設計了包括高分辨率網絡和低分辨率網絡的卷積網絡分類器，采用了以最大似然函數為損失函數，隨機梯度下降法作為收斂方法的網絡模型訓練和優化方法。在VIVA數據集上取得較好的識別結果，精度超過了以往的傳統方法。該方法中并沒有包括對手勢區域定位和分割的方法，對于手勢目標在圖中占比過小的情況下，該方法的識別效果并不好。

公開為CN108388348A專利文件公開了一種基于深度學習和注意力機制的肌電信號手勢識別方法，包括以下步驟：首先對采集到的手勢肌電信號做降噪濾波，然后使用滑動窗口對每個窗口數據提取一個經典特征集，并構建新的基于特征的肌電圖像；設計了一種基于卷積神經網絡、循環神經網絡和注意力機制的深度學習框架，并對其網絡結構參數進行優化，使用設計好的深度學習框架和訓練數據訓練得到分類器模型,將測試數據輸入到訓練好的深度學習網絡模型中,根據最后一層輸出的似然,最大似然對應的類別作為識別的類別。該方法是使用肌電信號來進行手勢識別，需要佩戴特定的采集設備，且由于個體差異，電極位置等影響，其分類難度很大。

發明內容

本發明目的在于提供一種動靜態手勢識別方法和系統，通過普通攝像頭采集手勢數據，采用手勢分割，卷積神經網絡分類及運動軌跡約束來提高手勢識別的準確性及穩定性。

為達成上述目的，結合圖1，本發明提出一種動靜態手勢識別方法，所述方法包括：

S1：采集手勢圖像以獲取圖像序列。

S2：對采集到手勢圖像采用均值濾波方法去除圖像噪聲。

S3：將采集到的手勢圖像從RGB色彩空間轉換成YCrCb空間，并建立橢圓模型，進行膚色檢測，分割出手勢區域并做二值化處理。

S4：構建卷積神經網絡模型及其參數優化器，并利用訓練數據得到一個性能最優的分類器。

S5：根據識別隊列中的手勢信息，執行手勢靜態識別，如果識別成功，進入步驟S7，否則，進入步驟S6；

S6：根據識別隊列中的手勢信息，執行手勢動態識別；

S7：結束流程。