[發明專利]基于光流法的手勢運動方向識別方法

有效

• 申請號: 201410535947.2
• 申請日: 2014-10-11
• 公開（公告）號: CN104331151B
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 楊盈昀;茹家馨;姜秀華
• 申請（專利權）人: 中國傳媒大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/60
• 代理公司: 北京思海天達知識產權代理有限公司11203
• 代理人: 沈波

技術領域

本發明涉及一種基于光流法的手勢運動方向識別方法，屬于計算機視覺領域。

背景技術

鼠標、鍵盤、手寫板等簡單的機械設備是目前人們最常用的人機交互方式，但是這些人機交互方式都是以計算機為中心，不夠人性化并具有很大的局限性，不足以滿足人們的需要。手是人最靈活的部位之一，手勢在日常的交流與操作中使用非常廣泛，方便快捷。手勢以人為中心，符合人們的生活習慣，所以手勢作為一種新型的人機交互方式非常具有研究價值。

現有的基于計算機視覺的手勢識別研究一般是識別手勢的不同姿態來賦予不同的意義，比如采用隱馬爾可夫模型、形狀紋理特征等方法識別手勢姿態，或利用特殊的深度攝像頭如微軟Kinect體感設備等獲取深度圖像來跟蹤識別手勢等。但前者的缺點是計算機需要處理的數據復雜，容易存在響應時間長、識別率低等問題，很難在實時交互的前提下達到滿意的識別率，而后者采用特殊攝像頭，存在價格昂貴、難以普及的問題。

手勢的不同姿態可以表現眾多不同的意思，而手勢的不同的運動方向也可以表現少量不同的意思，但它如果用以控制不需要太多指令的計算機程序是足夠勝任的，如播放器的播放、快進、快退等指令。研究手勢的運動方向識別可以減少計算機需要處理的數據，不像手勢姿態研究那樣過于復雜，但目前很少有對手勢運動方向的識別展開研究。

發明內容

本發明的主要目的是在使用普通攝像頭的前提下提供一種手勢運動方向的識別方法，以動態手勢運動方向作為計算機識別的目標，使計算機可以針對不同的手勢運動方向做出不同的反應，如利用本發明的成果來控制視頻播放器的播放暫停、快進快退等操作，提高人機交互的靈活性。

為實現上述目的，本發明采用的技術方案為基于光流法的手勢運動方向識別方法，該方法的流程圖如圖1所示，實施流程如下：

步驟1、通過VGA分辨率的普通攝像頭獲取計算機前的圖像序列并進行預處理，包含GrayWorld彩色均衡處理與高斯平滑操作。GrayWorld彩色均衡處理的作用是：消除彩色偏移，圖像更加接近于實際顏色，且高光陰影部分會顯著減少，使步驟2的膚色檢測能夠適應不同的光照與光源的變化。先計算圖像的R、G、B三分量各自的平均值avgR、avgG、avgB，獲得圖像的平均灰度值avgGray＝(avgR+avgG+avgB)/3，然后對于圖像中的每個像素，調整其R、G、B分量成為R＝R·avgGray/avgR，G＝G·avgGray/avgG，B＝B·avgGray/avgB，最后將各像素的R、G、B值調整到可顯示范圍，若分量值大于255，調整為255。在GrayWorld處理后，對圖像進行高斯平滑操作來消除攝像頭采集過程中產生的隨機噪聲。

步驟2、YCbCr域橢圓膚色檢測。膚色樣本在CbCr平面上較為集中地分布在近似橢圓的區域中，所以可以通過像素點在CbCr平面上是否落在此橢圓域來確定是否膚色。膚色橢圓區域由式(1)表示，其中c_x＝109.83，c_y＝152.02，＝2.53，ec_x＝1.60，ec_y＝2.41，a＝25.39，b＝14.03，x與y的取值由式(2)所示。

在計算過程中，由圖像像素點的Cb、Cr值算出x與y值，當x與y值落在式(1)所表示的橢圓區域，則令圖像像素值為1，否則為0，這樣可以得到膚色像素點為白色，非膚色像素點為黑色的二值圖。

步驟3、對膚色檢測后的二值圖像進行形態學重建，采用形態學中的閉運算。在數學形態學中，腐蝕是將邊界的像素點縮小至目標物體內部的一個像素點子集，消除圖像中目標物體的邊界。膨脹是將圖像中的目標物體的像素點擴大至周圍的一個像素點子集，使周圍的像素點的值與該像素點保持一致。單獨對圖像膨脹或者腐蝕都或多或少對圖像造成損害，將膨脹和腐蝕結合在一起可以降低對圖像造成的損害，閉運算是對圖像進行先膨脹后腐蝕，可以填補圖像中的空洞，連接細小的挨在一起的物體。對步驟2得到的二值圖像進行閉運算可以得到人臉與人手是兩個白色清晰連通區域的圖像。

步驟4、對各個白色連通區域進行標記并求面積，即計算各個白色連通區域含有多少個像素點，然后按照面積從大到小排列。如果畫面中有較大的類膚色物體，例如與黃種人膚色幾乎一致的棕黃色家具，也會形成一個較大的連通區域且其像素數量未知，所以需要保留像素數量排行前三位的連通區域，代表著人臉、人手與面積未知的干擾區域，其余所有連通區域全部作為無關信息進行剔除。