[發明專利]基于無監督的RGB單圖三維人臉重建方法、系統及電子設備

在審

• 申請號: 202111193251.2
• 申請日: 2021-10-13
• 公開（公告）號: CN113869273A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 張毓峰;余清洲
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T15/00;G06T15/04;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 廈門仕誠聯合知識產權代理事務所(普通合伙) 35227
• 代理人: 蔡稷元

本發明提供了基于無監督的RGB單圖三維人臉重建方法、系統及電子設備，包括：獲取單張RGB單圖；分析所述RGB單圖，生成三維人臉數據信息；獲取所述三維人臉數據信息，對所述三維人臉數據信息進行三維重建處理，生成三維人臉結構；根據所述三維人臉結構，生成三維人臉圖像。本發明利用用戶圖和人臉三維重建投影后的圖像之間具有諸多一致性這一重要特征，避免了三維人臉重建系統在方法構建過程中需要采用特殊設備對三維人臉圖像進行采集并特殊處理的問題，降低了系統構建的成本，具有重要的經濟意義，同時該方案避免了數據采集過程中人工介入所帶來的誤差，提升了三維人臉重建系統構建的誤差。

技術領域

本發明屬于人臉三維重建技術領域，特別涉及基于無監督的RGB單圖三維人臉重建方法、系統及電子設備。

背景技術

隨著計算機技術的快速發展，實時人臉三維重建有著非常廣泛的應用，已經被大量應用于各行各業，例如三維上妝，表情驅動，人臉識別，醫療美容等等。相比于二維平面，立體圖形最大的優勢在于它能反映更多的空間信息，這是二維平面所不具備的。因而越來越多的學者意識其可挖掘的應用價值和廣泛的應用前景，也因此人臉三維重建技術目前已成為計算機視覺領域最受歡迎的研究方向之一。如今不少團隊都在借助形變模型來研究人臉三維重建技術。從Facebook的MSQRD到Apple的Animoji再到美圖的宜膚測膚儀，這些知名應用的底層技術都和三維人臉重建有著非常密切的聯系。目前主流的三維人臉重建的方法主要分為兩種。第一種是通過硬件直接獲取人臉的深度信息從而進行三維人臉重建，如結構光、TOF(飛行時間)、雙目視覺等；第二種是通過多視圖幾何通過多個角度的人臉圖像進行人臉稠密點的深度估計。這兩種方法都存在著先天的局限性，前者需要特殊的硬件支持，后者操作需要從多個角度對人臉信息進行獲取，操作麻煩。

使用儀器掃描獲取深度圖雖然可以獲得較高質量的三維人臉模型，但被掃描對象需與掃描儀器進行交互，且掃描期間目標對象需盡可能保持靜止；通過掃描設備掃描得到三維人臉模型后，還需對掃描數據進行一系列復雜的處理才能得到較高質量的三維人臉模型。另外該方法依賴于特定的硬件支持，需要深度攝像頭，價格高、操作較復雜性，使該方法難以普及。

基于圖像的重建方法包括基于統計模型的三維人臉重建、基于多視幾何的三維人臉重建、基于光照立體的三維人臉重建以及近年來發展迅速的基于機器學習的三維人臉重建。基于圖像的重建方法通常通過多視圖的圖片估計深度，需要雙目攝像頭。基于統計模型的三維人臉重建方法依賴于大量的三維人臉數據，這些數據一般是對掃描得到的人臉模型進行PCA(Principal Components Analysis)處理后獲得的。另外，該方法重建結果嚴重依賴于數據庫中的人臉模型，數據庫中模型空間有限，限制了重建靈活性。傳統基于多視幾何的方法需獲取不同角度的多張正交人臉圖像，為計算圖像匹配點，首先需足夠多的匹配點數量，然后匹配精確度也要求很高。而基于機器學習的方法則需要大量三維人臉數據用以訓練，其最終重建結果同樣依賴于訓練樣本數量，與基于統計模型的方法有相同的弊端。當前也存在一些通過單張RGB圖片來估計人臉三維信息的方法，但是，發明人在研究過程中發現，一些基于現有的3Dmm模型(示例性的：BFM模型)往往精度比較低，無法滿足很多應用需求。另外，存在一些比較精準單圖重建三維方法則依賴于比較大的深度學習網絡，無法滿足手機端實時的需求。

隨著人工智能和深度學習的飛速發展，也出現了一些基于單圖的RGB圖片對人臉三維信息進行估計的方法，但是目前這些方法大都需要用特殊設備采集三維人臉信息來對方法進行監督。

發明內容

針對上述問題，本發明針對目前對人臉進行三維重建的方法中，存在需要3D點或者參數進行監督，對硬件及軟件要求較高的問題，提出基于無監督的RGB單圖三維人臉重建方法、系統及電子設備，以自監督的方式，達到僅需提供單張RGB圖和二維人臉點的信息的條件下就能對人臉進行三維重建的自監督的目的。

第一方面，本發明提供一種基于無監督的RGB單圖三維人臉重建方法，具體包括

獲取單張RGB單圖；