[發明專利]一種基于ZYNQ軟硬件協同處理的手勢識別系統及方法

在審

• 申請號: 202010368104.3
• 申請日: 2020-04-30
• 公開（公告）號: CN111665934A
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 鄧立為;戚靜靜;胡杰;李敬遠
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/34;G06K9/62
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 孫莉莉

1.一種基于ZYNQ軟硬件協同處理的手勢識別系統，其特征在于：所述ZYNQ的主處理器包含處理器系統PS與可編程邏輯PL，兩者采用AXI工業標準的接口，從而在芯片的兩個部分之間實現互聯的異構架構；所述系統包括圖像預處理模塊、手勢分割模塊、特征提取模塊、手勢識別模塊、手勢識別應用及界面顯示模塊和數據通路模塊；其中，所述圖像預處理模塊和數據通路模塊由PL部分實現，所述手勢分割模塊、特征提取模塊、手勢識別模塊和手勢識別應用及界面顯示模塊由PS部分實現；

所述圖像預處理模塊用于將攝像頭采集的RGB圖像進行顏色空間轉換，并依據此顏色空間對手勢圖像進行初步提取，之后對初步提取到的手勢圖像進行濾波和形態學處理；

所述手勢分割模塊用于將預處理后的手勢圖像進行類膚色干擾的去除，所述類膚色干擾包括靜態的類膚色背景干擾和動態的人臉、手臂干擾；

所述特征提取模塊用于提取手勢動態特征，所述手勢動態特征包括運動速率特征及方向角特征；所述運動速率特征用來區分手勢的運動狀態；所述方向角特征用來描述手勢運動軌跡，對一個動態手勢來說，根據每兩幀之間求出的旋轉角度，可得到一個方向編碼序列，此序列就是最終要提取的手勢方向角特征；

所述手勢識別模塊用于將得到的手勢動態特征和經過訓練的模型庫進行比對，計算出匹配度最高的模型，從而完成不同動態手勢的識別；

所述手勢識別應用及界面顯示模塊用于將識別結果通過一個具體應用表現出來；

所述數據通路模塊用于負責PL和PS之間的數據傳輸。

2.根據權利要求1所述的系統，其特征在于：所述具體應用為圖片瀏覽器，根據手勢的上下左右、順時針、逆時針六個動作實現對圖片不同的操作并用Qt界面顯示出來。

3.一種如權利要求1所述的基于ZYNQ軟硬件協同處理的手勢識別系統的識別方法，其特征在于：所述識別方法包括以下步驟：

S201：用戶在攝像頭前做出任意一種系統定義的手勢，攝像頭采集用戶手勢動作；

S202：手勢識別系統判斷用戶手勢動作是否滿足結束條件，否則需重新做出手勢；

S203：對滿足結束條件的手勢動作，系統會提取用戶手勢動態特征，同時將其存儲；

S204：利用DTW算法與模板庫進行匹配；

S205：手勢識別系統判斷用戶手勢動作特征是否滿足初始閾值的條件，否則需重新做出手勢；

S206：手勢識別系統找出匹配距離最小的模板；

S207：手勢識別系統顯示出識別結果。

4.一種基于ZYNQ軟硬件協同處理的手勢識別方法，其特征在于：所述方法包括以下步驟：

S101：對輸入的手勢圖像做運動前景檢測；

S102：將手勢圖像從RGB顏色空間轉換為YCrCb顏色空間；

S103：對顏色空間轉換后的手勢圖像進行濾波操作與圖像形態學處理；

S104：對步驟S103處理后的手勢圖像進行背景干擾、人臉與手臂干擾的去除操作，從而將動態手勢從復雜背景中分割出來；

S105：提取手勢分割操作后的目標手勢區域；

S106：針對目標手勢區域的運動速率特征及方向角特征進行提取；

S107：判斷用戶進行DTW模型訓練還是DTW模型識別操作；如果為DTW模型訓練操作，則執行步驟S108；如果為DTW模型識別操作，則直接執行步驟S110；

S108：針對DTW模型進行手勢模板訓練；

S109：輸出訓練好的手勢識別算法模型，進一步執行步驟S110；

S110：采用DTW模型進行手勢識別；

S111：輸出手勢識別的識別結果。