[發明專利]基于光流法的手勢運動方向識別方法

有效

• 申請號: 201410535947.2
• 申請日: 2014-10-11
• 公開（公告）號: CN104331151B
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 楊盈昀;茹家馨;姜秀華
• 申請（專利權）人: 中國傳媒大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/60
• 代理公司: 北京思海天達知識產權代理有限公司11203
• 代理人: 沈波

1.基于光流法的手勢運動方向識別方法，其特征在于：該方法的實施流程如下：

步驟1、通過VGA分辨率的普通攝像頭獲取計算機前的圖像序列并進行預處理，包含GrayWorld彩色均衡處理與高斯平滑操作；先計算圖像的R、G、B三分量各自的平均值avgR、avgG、avgB，獲得圖像的平均灰度值avgGray＝(avgR+avgG+avgB)/3，然后對于圖像中的每個像素，調整其R、G、B分量成為R＝R·avgGray/avgR，G＝G·avgGray/avgG，B＝B·avgGray/avgB，最后將各像素的R、G、B值調整到可顯示范圍，若分量值大于255，調整為255；在GrayWorld處理后，對圖像進行高斯平滑操作來消除攝像頭采集過程中產生的隨機噪聲；

步驟2、YCbCr域橢圓膚色檢測；膚色樣本在CbCr平面上較為集中地分布在近似橢圓的區域中，所以通過像素點在CbCr平面上是否落在此橢圓域來確定是否膚色；膚色橢圓區域由式(1)表示，其中c_x＝109.83，c_y＝152.02，θ＝2.53，ec_x＝1.60，ec_y＝2.41，a＝25.39，b＝14.03，x與y的取值由式(2)所示；

(x-ecx)2a2+(y-ecy)2b2=1---(1)]]>

xy=cosθsinθ-sinθcosθCb-CxCr-Cy---(2)]]>

在計算過程中，由圖像像素點的C_b、C_r值算出x與y值，當x與y值落在式(1)所表示的橢圓區域，則令圖像像素值為1，否則為0，這樣得到膚色像素點為白色，非膚色像素點為黑色的二值圖；

步驟3、對膚色檢測后的二值圖像進行形態學重建，采用形態學中的閉運算；在數學形態學中，腐蝕是將邊界的像素點縮小至目標物體內部的一個像素點子集，消除圖像中目標物體的邊界；膨脹是將圖像中的目標物體的像素點擴大至周圍的一個像素點子集，使周圍的像素點的值與該像素點保持一致；單獨對圖像膨脹或者腐蝕都或多或少對圖像造成損害，將膨脹和腐蝕結合在一起降低對圖像造成的損害，閉運算是對圖像進行先膨脹后腐蝕，填補圖像中的空洞，連接細小的挨在一起的物體；對步驟2得到的二值圖像進行閉運算得到人臉與人手是兩個白色清晰連通區域的圖像；

步驟4、對各個白色連通區域進行標記并求面積，即計算各個白色連通區域含有多少個像素點，然后按照面積從大到小排列；如果畫面中有較大的類膚色物體，與黃種人膚色幾乎一致的棕黃色家具，也會形成一個較大的連通區域且其像素數量未知，所以需要保留像素數量排行前三位的連通區域，代表著人臉、人手與面積未知的干擾區域，其余所有連通區域全部作為無關信息進行剔除；

步驟5、降低圖像的分辨率，并使用金字塔LK光流法獲取膚色區域的光流運動矢量；Lucas-Kanade光流法的公式如式(3)所示：

A=[▿I(x1),...,▿I(xn)]TW=ding[W(x1),...,W(xn)]b=-(It(x1),...,It(xt))Tv=[ATW2A]-1ATW2b---(3)]]>

其中，W(x)表示窗口權重函數，它使鄰域中心部分對光流約束產生的影響比外圍部分更大，v＝(u,v)^T是要求解的光流運動信息，I(x,y,t)是圖像點(x,y)在時刻t的照度，u和v是該點光流的水平和垂直分量，代表著運動信息，▽I(x)＝(I_x,I_y)^T；

金字塔Lucas-Kanade光流法采用常用的LK光流法算法加入高斯金字塔迭代方法，即構造圖像序列的一個金字塔，高層是低層圖像的下采樣形式，圖像分解到一定層數時，相鄰幀之間的運動量就會變得足夠小，滿足LK光流法的局部約束條件；在金字塔的最高層計算光流，然后將得到的運動估計結果作為下一層金字塔的起始點，重復迭代這個過程一直到金字塔的底層，即具有原始分辨率的圖像，這樣實現對更快更長的運動跟蹤；

步驟6、對光流運動矢量做方向判斷；光流運動矢量分為水平運動分量u和垂直運動分量v；對相鄰兩幀圖像做光流法操作獲得的各像素的u與v值做這樣的判定：式(4)～(7)分別表示像素點向右、左、上、下運動；當運動方向一致的像素數量超過一定的閾值，則可以判定手部的運動方向；

u>10&-10<v<10(4)

u<-10&-10<v<10(5)

v>10&-10<u<1(6)

v<-10&-10<u<10(7)

將運動方向一致的像素數的閾值設定為圖像像素總數的二十分之一，在QVGA分辨率下這個閾值為3840，運動方向判定為向左的像素數超過了3840，而其他方向的像素數遠少于3840，則判定手部運動方向為左移；

步驟7、每隔兩幀判斷一次方向，兩次一致才給出結果。