[發明專利]基于車載計算機平臺的實時三維人臉姿態追蹤方法

在審

• 申請號: 201611150266.X
• 申請日: 2016-12-14
• 公開（公告）號: CN108229246A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 尹超;楊旭波
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

1.一種基于車載計算機平臺的實時三維人臉姿態追蹤方法，其特征在于，通過視頻圖像中的每一幀中提取得到人臉區域，經特征點匹配后將得到的二維特征點與對應的人臉區域的三維特征點進行三維姿態解算并得到當前幀的人臉三維姿態，然后再進行不穩定度判斷以優化后續幀處理性能，實現實時人臉姿態追蹤。

2.根據權利要求1所述的方法，其特征是，所述的人臉區域，通過以下方式得到：

步驟一，通過二維攝像機獲得輸入人臉的視頻圖像并進行預處理，即對攝像機輸入圖像進行灰度化處理，去除顏色，并采用直方圖均衡化方法對圖像進行亮度調整；

步驟二，通過訓練后的人臉正/側面的級聯人臉檢測回歸器對輸入圖像進行人臉識別，提取人臉區域。

3.根據權利要求1所述的方法，其特征是，所述的二維特征點，通過利用人臉區域的局部二值特征，進行人臉二維特征形點形態回歸，得到配準的人臉二維特征點，并對獲得的特征點進行反畸變操作并得到。

4.根據權利要求3所述的方法，其特征是，所述的形態回歸，使用隨機回歸訓練法以公式為目標函數得到全局映射函數W，其中：φ為每個特征點的局部二值特征映射函數；t為特征提取的階段；L為特征點個數，為階段t特征點形態與實際形態的誤差；為二值特征映射函數在上一階段的形態的局部區域內，對訓練樣本圖像I_i計算二值特征；λ用來控制優化松弛度。

5.根據權利要求4所述的方法，其特征是，所述的特征提取的階段t為5個階段的回歸運算實現形態優化，即t∈[0,4]，具體是指：特征點配準算法在利用二值特征映射函數φ提取局部二值特征時，僅考察特征點周圍一定半徑范圍內的像素信息；在獲得特征點位置后，為了繼續優化位置精度，則再次重復局部二值特征提取和全局映射的步驟，即在考察特征點周圍的半徑將依次遞減，即精度由低到高的情況下進行下一階段的優化。

6.根據權利要求1所述的方法，其特征是，所述的人臉三維姿態，通過預置的三維特征點對二維特征點進行對應三維姿態解算獲得。

7.根據權利要求1所述的方法，其特征是，所述的不穩定度判斷是指：在每幀得到人臉姿態結構后，計算不穩定度ξ并逐幀累加，然后判斷：當①不穩定度累加值未達到人工設定的閾值T時，對下一幀利用二維特征點計算得到人臉區域，并減少人臉特征點回歸階段t的數量；當②不穩定度累加值達到閾值T時，則對下一幀運行全部的處理步驟，并將不穩定度累加值置零；當③當前幀中臉部區域的運動速率V_global小于定值ω，則跳過特征提取的階段t的前3階段，采用特征提取的階段t的后2階段進行優化。

8.根據權利要求1或7所述的方法，其特征是，所述的不穩定度是指：其中：V_global為當前幀中臉部區域的運動速率，通過計算臉部區域幾何中心的移動速度得到，P_l為步驟三得到的第l個臉部特征點位置，為先前1秒內累積的特征點l位置的平均值，L為特征點的數量，w₁和w₂用來控制對應項的影響程度，通過對每幀計算ξ，并進行累加得到不穩定度累加值。

9.根據權利要求7所述的方法，其特征是，所述的不穩定度判斷中的利用二維特征點計算得到人臉區域是指：首先計算全部特征點的最小包圍正方形，再根據當前人臉移動速度和大小對正方形區域進行擴展，變化量ΔL_t＝λvL_t-1，其中：v為前幀得到臉部區域中心的移動速度，L_t-1為上一幀的區域邊長。λ用來調節變化率。

10.一種實現上述方法的系統，其特征在于，包括：人臉識別模塊、人臉特征點配準模塊、三維姿態估計模塊以及追蹤控制模塊，其中：人臉識別模塊根據灰度值比較從視頻圖像中的每一幀中提取出臉部區域，人臉特征點配準模塊采用局部二值特征進行特征點形態進行回歸運算，從臉部區域中提取二維人臉特征點，三維姿態估計模塊將二維人臉特征點與預置三維模型中提取得到的對應的三維特征點結合，解算出人臉三維姿態，追蹤控制模塊根據每一幀人臉三維姿態的不穩定度判斷是否省去人臉識別和特征點配準中的階段。