[發明專利]一種基于人臉面形空間分布的無相位展開三維人臉重建方法及系統

在審

• 申請號: 202110833029.8
• 申請日: 2021-07-22
• 公開（公告）號: CN113450460A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 郭燕瓊;游志勝;呂坤;段智涓;朱江平;肖寧
• 申請（專利權）人: 四川川大智勝軟件股份有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/55
• 代理公司: 四川力久律師事務所 51221
• 代理人: 韓洋

本發明基于雙目立體視覺原理，研究一種基于人臉面型空間分布的無相位展開三維人臉重建方法，通過多幀(優選地N≥3)相移光柵條紋所蘊含的紋理信息基礎上提取的人臉特征點，作為人臉面型空間分布的錨點，在人臉上進行三角剖分并求粗視差圖，然后通過相移光柵條紋解得的截斷相位信息輔助粗視差的精確匹配，得到精視差圖，進而完成三維重建。提出方法無需進行相位展開，也無需投影任何附加結構光場或嵌入任何信號。對比已有方法，本發明所述方法不僅有效減少了三維人臉建模所需投影圖像數目，還從算法上略去了相位展開的耗時計算步驟，使得該方法對動態場景的敏感度較低，為實時高精度三維人臉測量提供了行之有效的解決方案。

技術領域

本發明涉及光學三維成像領域，尤其涉及一種基于人臉面形空間分布的無相位展開三維人臉重建方法及系統。

背景技術

三維人臉識別技術快速走向應用的前提是大規模三維人臉數據的建庫，基于三角測量原理的光學三維測量技術具有全場非接觸、精度高、速度快等顯著優點，被認為是獲取高速高精度三維人臉數據重要推崇的技術之一。通過投影結構光光場至待測人臉表面獲取三維面形數據，通常采用單目或雙目相機來拍攝受到待測人臉表面調制的變形圖像序列，并提取相位信息來重建三維模型。而結構光編碼的目的在于豐富或增加被測弱紋理人臉表面的特征，從而提高三維重建結果的準確性、可靠性以及建模的完整性。目前，結構光編碼主要有散斑結構光和條紋結構光，其中，基于條紋結構光編碼的雙目立體匹配系統因其高精度顯著優點被應用廣泛。而條紋結構光系統中，相移輪廓術(PSP)，以其更高的精度，更大的分辨率，更低的復雜度以及對環境光的不敏感性而聞名。

PSP的應用前提是被測量對象是相對靜止的。然而，與測量靜態對象不同的是，面部或多或少地處于運動中，例如呼吸，眨眼，抽搐或具有其他動態表情。而在動態三維人臉識別過程中，除了精度要求外，我們還希望能獲取實時的三維人臉模型。因此，對于高精度的正弦條紋結構光三維人臉重建系統，我們還面臨以下兩個挑戰：

應盡可能的減少圖像采集數量，節省采集時間。傳統方法中投影條紋數量較多，如多頻法、格雷碼法等，相位解算過程中往往需要投影多幀低頻信號去解算高頻信號才能得到高精度的絕對相位，不僅大大增加了采集時間，而且會因人臉運動造成的偽像而降低建模精度。

盡可能優化重建算法，節省計算時間。當前最流行的相位展開算法主要有兩種：空間相位展開算法和時間相位展開算法。空間相位展開算法首先確定截斷相位圖上的2π不連續位置，然后通過添加或減去2π的整數倍來刪除其不連續性，但其存在因展開路徑誤差積累造成的魯棒性較差的問題。而時間相位展開雖然能很好的克服空間相位展開的難題，且這些年來已經開發了許多方法，如多頻法和格雷碼法等，但其條紋投影數量依然是目前待解決問題。

公開號為CN109903377A，名為“一種無需相位展開的三維人臉建模方法及系統”的中國專利公開了一種利用人臉幾何信息約束條件去對齊截斷相位級次標記線，從而直接使用截斷相位進行立體匹配來重建三維人臉模型的方法。但是本發明是通過三角剖分得到人臉面形空間粗視差分布圖，再利用截斷相位信息對粗視差信息進行精確匹配。雖然都是無相位展開方法，但是實現方法不一樣。

發明內容

針對背景技術中存在投影條紋數量多的具體問題，提供一種基于人臉面形空間分布的無相位展開三維人臉重建方法及系統，通過繪制三角網格替換傳統的相位展開方案進行三維重建，無需進行相位展開，即可完成高精度三維重建。

為了實現上述目的，本發明采用的技術方案包括以下各方面。

一種基于人臉面形空間分布的無需相位展開三維人臉重建算法，包括：

步驟501，以不相同的M個拍攝角度采集N幀被測物的在條紋結構光場中的人臉圖像，分別對所采集到的條紋結構光場中的人臉圖像進行極線校正，得到截斷相位；其中，N是大于等于3的整數，M是大于等于2的整數；

步驟502，從級線校正后的人臉圖像中解析出所蘊含的紋理信息，形成紋理圖相對；并根據所述紋理圖像對，提取人臉特征點；