[發明專利]基于車載計算機平臺的實時三維人臉姿態追蹤方法

在審

• 申請號: 201611150266.X
• 申請日: 2016-12-14
• 公開（公告）號: CN108229246A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 尹超;楊旭波
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

一種基于車載計算機平臺的實時三維人臉姿態追蹤方法，通過視頻圖像中的每一幀中提取得到人臉區域，經特征點匹配后將得到的二維特征點與對應的人臉區域的三維特征點進行三維姿態解算并得到當前幀的人臉三維姿態，然后再進行不穩定度判斷以優化后續幀處理性能，實現實時人臉姿態追蹤。本發明能夠極大地減少計算開銷，從而能夠在車載計算機平臺上以高幀率運行。

技術領域

本發明涉及的是一種計算機視覺領域的技術，具體是一種基于車載計算機平臺的實時三維人臉姿態追蹤方法。

背景技術

近年來，實時人臉姿態追蹤已成為計算機視覺領域研究的熱點。而在智能駕駛輔助系統中，臉部姿態追蹤至關重要：例如，駕駛員臉部姿態能夠反映駕駛員視點的位置和朝向，指導駕駛輔助系統的圖像顯示，使之能夠跟隨駕駛員視點運動做出適應性調整；反映駕駛員的生理狀況，使得系統能夠推測其疲勞程度等。因此該技術使得駕駛輔助系統能夠實時感知駕駛員狀態，從而更好地實現行駛引導，疲勞檢測等與環境感知相關的應用。

由于車載計算機需要考慮在高溫，振動等條件下的健壯性，加之成本等因素制約，因此通?；诂F有移動平臺的硬件架構進行改造，計算性能較弱。同時對于駕駛輔助信息的顯示，為了消除肉眼可辨的延遲現象，人臉姿態追蹤算法的運行速度需要達到60FPS以上?，F有的算法在性能上往往難以滿足以上要求。

目前對于實時人臉姿態追蹤主要有基于外觀模型比較和基于三維深度信息的方法。外觀模型比較方法根據輸入的二維視頻中人臉的外觀進行三維模型貼圖，再比較后續視頻幀中，人臉的二維外觀和該模型之間的差異，通過最優化方法控制模型的姿態參數減小該差異進而得到姿態。該方法通常需要進行大量的像素運算以及三維模型投影轉換等高開銷操作，在車載計算機上難以實時運行；基于三維深度信息的方法將深度相機得到的三維點云與預置的人臉三維模型進行配準，利用配準得到的變換參數得到人臉姿態。此類方法需要定制的深度相機，將會增加系統的復雜度和成本，同時對于三維點云的處理也會帶來較大的計算開銷。

發明內容

本發明的目的在于克服現有技術性能開銷過大的缺陷，提出了一種基于車載計算機平臺的實時三維人臉姿態追蹤方法，能夠極大地減少計算開銷，從而能夠在車載計算機平臺上以高幀率運行。同時本方法能在光照條件多變或不足的情況，以及面部有遮擋物的情況下正常工作，能夠適應車載環境下的使用需求。

本發明通過以下技術方案實現：

本發明通過視頻圖像中的每一幀中提取得到人臉區域，經特征點匹配后將得到的二維特征點與對應的人臉區域的三維特征點進行三維姿態解算并得到當前幀的人臉三維姿態，然后再進行不穩定度判斷以優化后續幀處理性能，實現實時人臉姿態追蹤。

所述的人臉區域，通過以下方式得到：

步驟一，通過二維攝像機獲得輸入人臉的視頻圖像并進行預處理，即對攝像機輸入圖像進行灰度化處理，去除顏色，并采用直方圖均衡化方法對圖像進行亮度調整。

所述的攝像機優選分辨率不低于640×480像素以保證姿態估計精度。

步驟二，通過訓練后的人臉正/側面的級聯人臉檢測回歸器(regressor)對輸入圖像進行人臉識別，提取人臉區域，具體為：

2.1)采集訓練數據，并根據使用場景按需采集人臉圖像；

所述的按需采集是指：拍攝駕駛環境下的人臉，優選有不同的個體；不同的面部遮擋物，例如帽子，太陽鏡等；不同的光線條件；不同的臉部姿態，樣本需要臉部z軸向±30°轉動，x軸向±45°度轉動，y軸向±60°度轉動。各軸向轉動每隔15°拍攝一組樣本。對于所獲得的人臉樣本人工標定臉部的區域，并進行正側面分類，將y軸向大于45°的樣本作為側面樣本。