[發明專利]結合人臉關鍵點檢測的人臉相對姿態估計方法

有效

• 申請號: 202011489338.X
• 申請日: 2020-12-16
• 公開（公告）號: CN112580496B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 于慧敏;劉柏邑
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V40/16;G06T7/11;G06V10/82
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種結合人臉關鍵點與RGB?D數據進行人臉相對姿態估計的方法。該方法通過對RGB圖像上人臉關鍵點的識別并計算初始姿態角度差，以及結合深度數據，通過對RGB?D點云進行匹配來得到不同角度之間的人臉的較高精度的相對姿態估計。不同于之前的識別方法，該方法使用了RGB?D數據，且對數據集的大小要求較低，在小樣本的數據上就可以實現高精度的相對姿態估計。而且還結合了人臉關鍵點信息，增強了姿態估計的魯棒性。

技術領域

本發明屬于圖像識別、人臉關鍵點識別、人臉姿態估計，特別地涉及一種基于RGB-D數據和人臉關鍵點的人臉相對位姿估計方法。

背景技術

人臉相對姿態有著比較重要的研究價值。其目標是根據一對不同角度的人臉RGB-D數據，精準估計出二者之間的相對姿態。人臉相對姿態估計有以下主要應用場景：

(1)注意力檢測：通過判斷頭部姿態可以判斷人的注意力情況。比如可以檢測長途司機是不是在目視前方，長時間不目視前方的話，可以提前敲打，保證安全，減少事故；再比如監控學生上課時是否集中精力等。

(2)行為分析。和(1)類似，通過視頻監控分析再輔助其他算法可以判斷一個人是否具有不軌行為，做到提前預警，防患于未然。

(3)人機互動。人的頭部動作有時可以表示意義，傳遞信息。搖頭在大多數人看來是否認，點頭表示同意，長時間低頭說明可能正在思考問題。如果機器人能理解這樣的行為，將提高人機交互的質量和有效性。

(4)視線追蹤，也可以稱為眼球跟蹤。準確的頭部姿態估計能夠提高視線追蹤的精度。視線追蹤可以用在游戲領域，比如用眼睛就可以控制游戲內人物的移動，讓體感操作更上一層樓。

對于人臉相對姿態估計，大體可以分為兩個流派。第一種是基于特征的方法。在這種方法中，通過傳統方法對人臉上特征的分析并與標準正臉的特征相比較，得到兩種特征之間的差別，對特征之間的差別進行分析可以得到相對的姿態估計。

而另一種則是主要基于深度學習的方法。通過設計不同結構的深度學習網絡，對當前人臉的特征進行提取并回歸角度，得到當前人臉的姿態。隨著計算資源的發展，這類方法逐漸變得火熱，但是極大地受到模型大小的限制以及對精度的要求。

點云可以在三維空間中比較準確的反映出物體表面的真實大小與形狀結構，是一種對物體比較原始的三維結構表征，隨著數據獲取變得容易逐漸成為了計算機視覺領域的一種比較重要的數據結構。

發明內容

本發明的目的在于提供一種基于RGB-D數據的結合人臉關鍵點檢測的人臉相對姿態估計方法。該方法通過關鍵點檢測以及引入點對特征來進行迭代最近點的方法，實現了對一組不同角度的人臉進行相對姿態估計的過程。在本發明中，使用點云來進行估計比單純使用RGB圖像來估計結果要更精準，將相對姿態估計的過程融合進點云匹配過程可以最大程度地提高結果精度。

為實現上述目的，本發明的技術方案為：結合人臉關鍵點檢測的人臉相對姿態估計方法。該方法為：首先使用人臉關鍵點檢測技術，對人臉的68個關鍵點進行提取并利用兩組關鍵點的三維坐標間的匹配進行第一次的相對姿態的估計。在第一次的基礎上，第二次的相對姿態估計有了比較好的初值，同時再對面部進行裁剪，使得迭代最近點算法前的預處理最優化，最后對六維坐標的點對特征進行迭代的匹配，在匹配的過程中得到相對姿態的估計。

具體地，本發明方法包括如下步驟：

步驟1：在已有RGB-D數據的情況下，采用Dlib人臉關鍵點檢測CNN模型對兩張對應角度的RGB圖像I_source和I_target進行包含臉部輪廓、嘴巴、眼睛、鼻子等部位共68個人臉關鍵點檢測，從中選取多個對應關鍵點的RGB-D三維坐標點{KeyPoint_snum}和{KeyPoint_tnum}，進行兩組三維坐標點的匹配得到人臉姿態相對估計的初始旋轉矩陣R_start。