[發明專利]基于弱監督學習的三維人臉重建模型建立方法及其應用

在審

• 申請號: 202111132653.1
• 申請日: 2021-09-27
• 公開（公告）號: CN113781640A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 侯文廣;梅少杰;余勤;王毅凡;董靜嫻
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/11;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 夏倩;李智

本發明公開了一種基于弱監督學習的三維人臉重建模型建立方法，屬于三維人臉重建技術領域，包括：建立用于三維人臉重建的弱監督學習模型，包括：三維人臉重建網絡，用于從輸入圖像提取三維人臉參數；人臉特征提取模型，用于從輸入圖像提取人臉特征向量；GCN優化解碼器，用于根據人臉特征向量對粗紋理參數進行優化，得到精紋理參數；以及三維人臉生成器，用于根據形狀參數和精紋理參數生成三維人臉模型；獲取人臉圖像數據集，對模型進行訓練；訓練過程中，將模型輸出的三維人臉模型渲染為二維人臉圖像并計算損失值，對模型進行模型參數優化，以最小化二維人臉圖像與輸入圖像之間的誤差。本發明能夠提高三維人臉模型的紋理清晰度，可應用于中醫面診。

技術領域

本發明屬于三維人臉重建技術領域，更具體地，涉及一種基于弱監督學習的三維人臉重建模型建立方法及其應用。

背景技術

中醫診斷是我國中醫學專家根據幾千年來的臨床經驗總結出的一套系統的醫學理論。“望聞問切”四種方法是中醫認識、研究病癥的主要途徑。作為面診的重要內容，面診一直是傳統中醫診斷學領域研究的重點。面既為臟腑氣血之榮、又為經脈匯聚之所。人臉面部的形態、光澤、紋理等特征可以很好地反映人體氣血的運行狀況，對人體內部器官的健康狀況進行表征。但這種傳統的面診方法，一方面嚴重依賴于中醫專家長時間積累的專業知識和臨床經驗，缺乏客觀和量化的評價指標；另一方面受限于醫生面診時的光照、噪聲等外部環境，不利于復診參考和經驗分享，嚴重阻礙了中醫診斷學的普及和推廣。

隨著計算機與人工智能技術廣泛應用于醫學圖像處理、醫療信息系統等諸多領域并發揮重要作用，利用計算機技術對人臉面像進行處理和分析，實現中醫面診過程的自動化、客觀化和標準化，是中醫面診的重要研究方向和現代化發展趨勢。相較于二維人臉圖像，三維人臉圖像攜帶更豐富的個性化特征，具有重要的研究意義和應用前景。

中醫面像研究中，實現三維人臉圖像重建可以實現更個性化的特征提取及更精確的人臉區域定位，以分析面部特征與對應內部器官的關系。但是，現有的三維人臉重建方法，側重于重建出人臉的三維形狀，但重建出的三維人臉模型的往往存在紋理不清晰的問題，并不適用于中醫面診。

發明內容

針對現有技術的缺陷和改進需求，本發明提供了一種基于弱監督學習的三維人臉重建模型建立方法及其應用，其目的在于，有效解決現有的三維人臉重建方法重建出的三維人臉模型紋理不清晰，不適用于中醫面診等依賴于清晰的人臉紋理信息的應用的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種基于弱監督學習的三維人臉重建模型建立方法，包括：

建立用于三維人臉重建的弱監督學習模型，弱監督學習模型包括：三維人臉重建網絡，用于從輸入圖像提取三維人臉參數，輸入圖像含有人臉圖像，三維人臉參數包括形狀參數和粗紋理參數；人臉特征提取模型，用于從輸入圖像提取人臉特征向量；GCN優化解碼器，用于根據人臉特征向量對粗紋理參數進行優化，得到精紋理參數；以及三維人臉生成器，用于根據形狀參數和精紋理參數生成三維人臉模型；

獲取人臉圖像數據集，對弱監督學習模型進行訓練；訓練過程中，將弱監督學習模型輸出的三維人臉模型渲染為二維人臉圖像，并基于渲染得到的二維人臉圖像與輸入圖像之間的誤差計算損失值，根據所計算的損失值對模型進行模型參數優化，以最小化二維人臉圖像與輸入圖像之間的誤差；訓練結束后，得到三維人臉重建模型。

進一步地，訓練過程中，所使用的損失函數L為：

L＝ε₁[L_p+ε₂L_i]+ε₃L_v

其中，L_p、L_i和L_v分別表示渲染得到的二維人臉圖像相對于輸入圖像的顏色損失、感知損失和頂點損失，ε₁、ε₂和ε₃為用于控制幾種損失的權重常數。