[發明專利]基于深度信息和彩色圖像的頭部姿勢估計方法

有效

• 申請號: 201210224426.6
• 申請日: 2012-06-28
• 公開（公告）號: CN102737235A
• 公開（公告）日: 2012-10-17
• 發明（設計）人: 譚鐵牛;孫哲南;唐云祁
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 宋焰琴

技術領域

本發明涉及數字圖像處理、模式識別和統計學習等技術領域，特別是一種基于深度信息和彩色圖像的頭部姿勢估計方法。

背景技術

二十世紀50年代以來，計算機技術的出現極大地改變了人類生產生活的方式。與此同時，人類的日益增長的需求也推動著計算機技術的飛速發展。隨著社會的進步，基于鍵盤和鼠標這種傳統輸入方式的計算機技術已經滿足不了人們生活的需要，人們呼吁一種基于視覺的智能交互技術，這種技術能讓機器掌握人的姿勢或動作進而理解人的意圖。智能交互領域的重要研究課題之一——頭部姿勢估計，在人臉識別、視點跟蹤和輔助駕駛等方向上有著廣泛的應用。

關于頭部姿勢估計的傳統方法大多基于二維灰度或彩色圖像。譚鐵牛等(CN1601549)融合了人臉的形狀、膚色、紋理、運動等信息使用機器學習的方法得到人臉的位置和姿態參數。Y·胡等(CN1573660)通過檢測面部關鍵點包括左右眼中心、左右嘴角、鼻尖等5個關鍵點，采用由粗到精的方法來確定用戶的頭部姿勢信息。謝東海等(CN1866271)使用主動形狀模型ASM檢測定位人臉器官，進而估計出人臉的姿態。趙清杰等(CN101889928A)把人臉劃分為7個狀態：無頭勢、右側、左側、半右側、半左側、仰頭、低頭，通過鼻尖信息來判斷臉部所處狀態，進而控制輪椅的運動。這些方法在一定程度上滿足了實時應用需求，具有獨特價值，但是這類方法的精度不夠高并且受光照和噪聲的影響較大，有待進一步改善。

相對于上述方法，基于深度信息的頭部姿勢估計方法具有天然的優越性。第一，深度圖中的像素值具有明確的物理意義，它可以度量空間中一點到攝像機的距離信息。第二，基于深度信息的圖像處理方法可以快速精確地從場景中分割出感興趣的區域。第三，該類方法受光照變化的影響較小。這類方法可實時地、較為準確地估計出變化幅度較大的頭部姿勢。例如，文獻M.D.Breitenstein，D.Kuettel，T.Weise，L.?Van?Gool，H.Pfister，Real-time?face?pose?estimation?from?single?range?images，IEEE?Conference?onComputer?Vision?and?Pattern?Recognition，2008，提出了一種基于單幅深度信息圖的實時頭部姿勢估計系統，該系統在10度誤差范圍內估計精度可達80.8％，但是它需要GPU的輔助，應用有限。文獻G.Fanelli，J.Gall，L.?Van?Gool，Real?Time?Head?Pose?Estimation?with?Random?Regression?Forests，IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition，2011，也提出了一種基于單幅深度信息圖的實時頭部姿勢估計系統，它利用隨機森林的快速高效性也可滿足實時應用需求，10度誤差范圍內的估計精度可達90.4％，可較為精確地估計出頭部姿勢，但是估計精度還有很大的改進空間。

近年來，隨著深度傳感技術Light?coding的出現深度攝像機的制作成本大大降低。基于此技術，2010年底微軟推出一款名為“Kinect”的游戲傳感器，可實時地獲取場景的深度信息和彩色圖像，并以大眾消費品價格出售。Kinect的出現為頭部姿勢方法提供了新的發展平臺。本發明設計一種基于Kinect的頭部姿勢估計方法，該方法利用Kinect所獲取的深度圖像和彩色圖像的特性，實時、精確地完成頭部姿勢估計。基于深度圖像的特性簡單快速地把目標從背景中分割出來并定位到頭部區域；基于彩色圖像的特性實時地除去頭部區域的頭發噪聲和服飾噪聲。同時，本方法還設計了一種新穎、魯棒的頭部姿勢描述子——切片子區域幾何向量，它以頭部深度圖像的物理屬性為基礎，利用人臉關于鼻尖的對稱特性，可準確地表達頭部姿勢的變化規律，具備精度高、魯棒性高的優點。

發明內容

本發明的目的是提供一種基于深度信息和彩色圖像相結合的頭部姿勢估計方法，即利用頭部的深度信息和彩色圖像來實時地估計頭部姿勢。

本發明提出的一種基于深度信息和彩色圖像的頭部姿勢估計方法，其特征在于，該方法包括以下步驟：

步驟S1，建立頭部姿勢訓練圖像庫，該訓練圖像庫中的每一訓練樣本均包括一一對應的深度信息灰度圖和彩色圖像；

步驟S2，基于深度信息灰度圖對其中的頭部位置進行粗定位，得到粗定位的頭部圖像；

步驟S3，基于與所述深度信息灰度圖對應的彩色圖像對所述步驟S2得到的粗定位的頭部圖像進行噪聲去除；