[發明專利]一種基于達芬奇技術的手語識別翻譯方法

在審

• 申請號: 201410764770.3
• 申請日: 2014-12-12
• 公開（公告）號: CN104463250A
• 公開（公告）日: 2015-03-25
• 發明（設計）人: 陳健明;周冬躍;陳麗;葉俊有
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06K9/66
• 分類號: G06K9/66
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

技術領域

本發明涉及圖像處理、模式識別領域，更具體地，涉及一種基于達芬奇技術的手語識別翻譯方法。

背景技術

在日常生活中，打手勢、做手語是一種重要的交流方式。對于聾啞人們來說，手語更是必不可少。然而多數人對手語并不夠了解，所以為了讓人們能夠看懂手語，手語識別的研究也隨之展開。最開始出現的手語翻譯系統是基于數據手套的，識別效果比較可觀，但造價昂貴，也不利于攜帶。人們便逐漸聚焦在基于視覺的手語翻譯系統的研究中，但卻也面臨著系統識別率低、實時性差額、不便于攜帶和系統成本較高等問題，對手語翻譯系統的普及造成很大的困難。

發明內容

本發明克服上述現有技術所述的系統識別率低、實時性差額、不便于攜帶和系統成本較高的缺陷，提供一種識別率高、實時性強的基于達芬奇技術的手語識別翻譯方法。

為解決上述技術問題，本發明的技術方案如下：

一種基于達芬奇技術的手語識別翻譯方法，所述方法包括以下步驟：

S1：采集手語者的動作視頻，對視頻流建立背景，當前幀與背景作差得到前景圖像；

S2：在前景圖像中提取膚色塊；

S3：計算提取到的膚色塊的深度信息，并根據膚色塊的深度信息對臉部區域進行定位；

S4：根據膚色塊的深度信息對手部進行定位并提取關鍵幀，并對關鍵幀的手部區域膚色塊進行修補填充，所述關鍵幀為手部在一個區域內停留達到預設幀數的幀；

S5：提取關鍵幀的一種或多種手型特征；

S6：根據提取的手型特征，使用單個分類器進行分類或者使用多個分類器進行投票表決，得到靜態手勢識別結果；

S7：對手勢的運動軌跡進行識別，得到軌跡識別結果；

S8：對靜態手勢識別結果和軌跡識別結果進行糾錯與拼接，得到手語的識別翻譯結果。

在一種優選的方案中，所述方法還包括：步驟S1中，使用2個攝像頭同時采集手語者的動作視頻，首先調整攝像頭使2個攝像頭水平，然后分別對2個攝像頭采集的視頻流建立背景，選取某一幀圖像作為初始的背景，當前幀與背景作差得到前景圖像，使用均值漂移的方法對背景進行更新。

在一種優選的方案中，所述方法還包括：步驟S2中，使用高斯膚色模型在前景圖像中提取膚色塊。

在一種優選的方案中，所述方法還包括：步驟S3中，2個攝像頭采集到的膚色塊的重心點相互對應，計算這些相互對應的重心點之間的歐氏距離，即可得到這些膚色塊的深度信息；

相對應的膚色塊的重心點距離越大，則該膚色塊離攝像頭越近，在準備階段，臉部和手部與攝像頭的距離一樣，而使用者背后的膚色物體的深度信息明顯與臉部區域的不同，再根據雙手和臉部區域的相對位置，即可對臉部區域進行定位。

在一種優選的方案中，所述方法還包括：步驟S4中，在做手語手勢時，離攝像頭最近的運動膚色塊為手部，而遠的運動膚色塊為臉部或其他運動的膚色物體，根據這一特性對手部進行定位，然后提取關鍵幀，并利用感知器算法對手部膚色塊進行修補填充，所述關鍵幀為手部在一個區域內停留達到預設幀數的幀。

在一種優選的方案中，所述方法還包括：步驟S5中，提取關鍵幀的歸一化傅里葉描述子、手型骨架和指尖數目的特征，具體方法為：

首先提取手型骨架特征：將手勢圖像用最小的矩形包圍住，把該矩形四等分，計算出各塊圖像的重心點，將四個重心點連接成一個四邊形，計算出該四邊形的各邊長、對角線長、矩形度、角度共同作為手型骨架的特征；

然后提取歸一化傅里葉描述子特征；

最后提取指尖數目特征，計算手勢輪廓的曲率，若某段輪廓的曲率大于預設的閾值則該段為指尖，判斷出該手勢伸出了多少根手指，即為指尖數目特征。

在一種優選的方案中，步驟S6中，投票表決的方法如下：

先對每個分類器所能投的票數進行初始化；統計各個先前訓練好的分類器的識別結果，采用獎懲方式調整各分類器所能投出的票數；根據各分類器所能投的票數，按手勢特征與分類器各類的相似程度進行分散投票，最相似者票數最多，票數最多的一類作為為識別結果。

在一種優選的方案中，步驟S7中，采用分層的軌跡識別方法對手勢的運動軌跡進行識別，其具體方法包括以下步驟：

(1)先進行第一層的軌跡識別，以兩個關鍵幀之間的軌跡點坐標，使用Freeman鏈碼對這些軌跡點進行編碼，使其連成一個鏈碼序列用于短軌跡的識別；