[發明專利]復雜場景中單個人臉的實時跟蹤方法

有效

• 申請號: 200810200310.2
• 申請日: 2008-09-24
• 公開（公告）號: CN101377813A
• 公開（公告）日: 2009-03-04
• 發明（設計）人: 寇超;白琮;陳泉林;王華紅;王少波
• 申請（專利權）人: 上海大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 上海上大專利事務所（普通合伙）
• 代理人: 何文欣

技術領域

本發明涉及人機界面交互以及視頻監控領域，特別是對復雜場景中單個人臉的實時追蹤。具體是一種綜合考慮多特征、利用新型反向投影圖的連續均值漂移方法。

背景技術

在人機交互和視頻監控等應用中，作為識別個人身份的顯著特征之一，對人臉的檢測和跟蹤效果將直接關系到系統的整體性能。數十年來，已有無數學者對人臉跟蹤問題作過廣泛的研究和討論，其中主要分為：基于人臉模型、基于特征匹配、基于運動信息以及基于膚色的方法。然而，由于存在諸如頭部轉動，光照、陰影及遮擋物等諸多因素的影響，導致實際復雜環境中的人臉跟蹤向來都難以有效實現。

對現有技術性文獻的查閱可知，在各種跟蹤方法中，連續均值漂移算法比較令人滿意。它由G.R.Bradski.在1998年Intel技術季刊上發表的一篇名為《Computer?Vision?Face?Trackingfor?Use?in?a?Perceptual?User?Interface》的文章中提出并成功應用于計算機游戲人機交互界面中機器視覺對人臉運動的捕捉。文章以均值漂移算法為基礎，利用搜索區域內在H色彩通道中的直方圖統計計算視頻序列后續各幀像素與膚色概率的相似程度，并以此為特征對人臉進行跟蹤。然而，在H色彩通道對搜索區域進行直方圖統計過程中易受搜索區域內背景像素的干擾，影響計算像素類膚色概率的準確度，進而不能達到良好的跟蹤效果。同時，文中的初始搜索區域必須手動設定。

發明內容

本發明的目的在于克服上述已有技術的不足，提供一種復雜場景中單個人臉的實時跟蹤方法，以人臉檢測的二值化結果表征圖像中像素類膚色的概率，并以此為特征對人臉進行跟蹤。同時，利用首幀圖像的人臉檢測結果自動確定初始搜索區域，使算法自動運行。

為達到上述目的，本發明采用下述技術方案：

一種針對復雜場景中單個人臉的實時跟蹤方法，其步驟包括：

(1)畫面預處理：為減少環境光照和圖像噪聲的影響，本發明首先對圖像實施分段灰度線形變換和高斯濾波，目的在于減少環境光照和圖像噪聲的干擾；

(2)利用膚色特征進行人臉檢測：利用膚色在YCrCb色彩空間中的聚合性進行人臉檢測，并通過形態學操作去除檢測噪聲；

(3)類膚色區域的消除：針對類膚色區域，結合面積域值和人臉高、寬比限制條件進一步消除，通過計算人臉區域的空間權重來確定面部區域的中心點，并以其為中心設定初始搜索區域；

(4)人臉跟蹤：將人臉檢測二值化結果作被跟蹤特征，利用連續自適應均值偏移方法實現跟蹤。

實驗結果表明本方法不需人工干預即可自動對畫面中的人臉進行實時跟蹤，準確率可達90％以上。

以下對各步驟作進一步說明：

(1)畫面預處理：包括灰度線形變換和高斯模板濾波。由于環境中復雜光照的影響，會使面部出現一些高光或昏暗的區域，而這些區域都會對膚色的判斷產生影響。因此需要將畫面的亮度進行線形調整，以使其達到整體均勻的效果。而由于視頻捕獲設備的硬件原因，難免會在圖像中出現噪聲，這同樣會對像素類膚色區域的判斷產生影響。利用高斯模板對圖像進行卷積，可以在保持邊緣的前提下較好地去除噪聲。

(2)利用膚色特征進行人臉檢測：在各種色彩空間中，YCrCb中的Cr、Cb通道內的膚色具有良好的聚合性，通過實驗觀測數據可得到比較理想的分割閾值，進而產生良好的膚色分割結果。同時對初始檢測結果進行形態學操作，消除一些細小空洞和檢測噪聲。

(3)類膚色區域的消除：利用膚色信息對面部進行檢測固然存在諸多優勢，然而僅憑借此單一信息總會受到類膚色區域的干擾，而這些區域是無法單純依靠形態濾波消除掉的。因為有些類膚色區域較大，需要多次腐蝕才能消除，而多次處理的同時又會導致面部區域萎縮。本方法結合人臉面積和幾何特征對這類區域進一步消除。首先是當區域小于一定面積時，認為此區域不屬于人臉；其次是對人臉區域長、短軸比進行限定，不在此范圍內的區域都將被消除，以盡可能減少類膚色區域的影響。同時，在檢測出的人臉區域內計算重心位置，并以其為中心設定初始搜索區域，使算法自動運行。

(4)人臉跟蹤：以人臉檢測結果作為新型反向投影圖，對搜索窗口內的空間矩進行迭代，使當前搜索框中的特征趨向于目標特征的分布模式，從而指導連續均值漂移法自動調整搜索窗口的位置及長軸角度以預測出目標在下一幀中的信息，使跟蹤算法持續進行，在保證良好跟蹤效果的同時還兼具簡單的計算量。

上述的畫面預處理的具體實現方法如下：

(1)線性變換