[發明專利]一種基于達芬奇技術的手語識別翻譯方法

在審

• 申請號: 201410764770.3
• 申請日: 2014-12-12
• 公開（公告）號: CN104463250A
• 公開（公告）日: 2015-03-25
• 發明（設計）人: 陳健明;周冬躍;陳麗;葉俊有
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06K9/66
• 分類號: G06K9/66
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于達芬奇技術的手語識別翻譯方法，其特征在于，所述方法包括以下步驟：

S1：采集手語者的動作視頻，對視頻流建立背景，當前幀與背景作差得到前景圖像；

S2：在前景圖像中提取膚色塊；

S3：計算提取到的膚色塊的深度信息，并根據膚色塊的深度信息對臉部區域進行定位；

S4：根據膚色塊的深度信息對手部進行定位并提取關鍵幀，并對關鍵幀的手部區域膚色塊進行修補填充，所述關鍵幀為手部在一個區域內停留達到預設幀數的幀；

S5：提取關鍵幀的一種或多種手型特征；

S6：根據提取的手型特征，使用單個分類器進行分類或者使用多個分類器進行投票表決，得到靜態手勢識別結果；

S7：對手勢的運動軌跡進行識別，得到軌跡識別結果；

S8：對靜態手勢識別結果和軌跡識別結果進行糾錯與拼接，得到手語的識別翻譯結果。

2.根據權利要求1所述的基于達芬奇技術的手語識別翻譯方法，其特征在于，所述方法還包括：步驟S1中，使用2個攝像頭同時采集手語者的動作視頻，首先調整攝像頭使2個攝像頭水平，然后分別對2個攝像頭采集的視頻流建立背景，選取某一幀圖像作為初始的背景，當前幀與背景作差得到前景圖像，使用均值漂移的方法對背景進行更新。

3.根據權利要求1所述的基于達芬奇技術的手語識別翻譯方法，其特征在于，所述方法還包括：步驟S2中，使用高斯膚色模型在前景圖像中提取膚色塊。

4.根據權利要求2所述的基于達芬奇技術的手語識別翻譯方法，其特征在于，所述方法還包括：步驟S3中，2個攝像頭采集到的膚色塊的重心點相互對應，計算這些相互對應的重心點之間的歐氏距離，即可得到這些膚色塊的深度信息；

相對應的膚色塊的重心點距離越大，則該膚色塊離攝像頭越近，在準備階段，臉部和手部與攝像頭的距離一樣，而使用者背后的膚色物體的深度信息明顯與臉部區域的不同，再根據雙手和臉部區域的相對位置，即可對臉部區域進行定位。

5.根據權利要求1所述的基于達芬奇技術的手語識別翻譯方法，其特征在于，所述方法還包括：步驟S4中，在做手語手勢時，離攝像頭最近的運動膚色塊為手部，而遠的運動膚色塊為臉部或其他運動的膚色物體，根據這一特性對手部進行定位，然后提取關鍵幀，并使用感知器算法對手部區域膚色塊進行修補填充，所述關鍵幀為手部在一個區域內停留達到預設幀數的幀。

6.根據權利要求1所述的基于達芬奇技術的手語識別翻譯方法，其特征在于，所述方法還包括：步驟S5中，提取關鍵幀的歸一化傅里葉描述子、手型骨架和指尖數目的特征，具體方法為：

首先提取手型骨架特征：將手勢圖像用最小的矩形包圍住，把該矩形四等分，計算出各塊圖像的重心點，將四個重心點連接成一個四邊形，計算出該四邊形的各邊長、對角線長、矩形度、角度共同作為手型骨架的特征；

然后提取歸一化傅里葉描述子特征；

最后提取指尖數目特征，計算手勢輪廓的曲率，若某段輪廓的曲率大于預設的閾值則該段為指尖，判斷出該手勢伸出了多少根手指，即為指尖數目特征。

7.根據權利要求1所述的基于達芬奇技術的手語識別翻譯方法，其特征在于，步驟S6中，投票表決的方法如下：

先對每個分類器所能投的票數進行初始化；統計各個先前訓練好的分類器的識別結果，采用獎懲方式調整各分類器所能投出的票數；根據各分類器所能投的票數，按手勢特征與分類器各類的相似程度進行分散投票，最相似者票數最多，票數最多的一類作為為識別結果。