[發明專利]基于空洞卷積神經網絡的人臉深度和表面法向量預測方法

有效

• 申請號: 201710889248.1
• 申請日: 2017-09-27
• 公開（公告）號: CN107679477B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 王好謙;章書豪;方璐;戴瓊海
• 申請（專利權）人: 深圳市未來媒體技術研究院;清華大學深圳研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 徐羅艷

基于空洞卷積神經網絡的人臉深度和表面法向量預測方法，包括訓練空洞卷積神經網絡的步驟：S1、搭建一空洞卷積神經網絡，包括依次連接的多個卷積層、多個空洞卷積層和多個反卷積層，其中，每個卷積層均連接有一規范化操作和一激勵操作；S2、初始化空洞卷積神經網絡的權重值；S3、將訓練圖片輸入空洞卷積神經網絡中，以最小化代價函數為目標對所述空洞卷積神經網絡進行迭代訓練；每迭代一次則更新一次權重值；S4、將測試圖片輸入訓練得到的空洞卷積神經網絡中，輸出對應的人臉深度圖和表面法向量圖；S5、根據輸出的人臉深度圖和人臉表面法向量圖判斷訓練的空洞卷積神經網絡預測精度是否符合要求：若符合結束訓練；若不符合返回步驟S3繼續訓練。

技術領域

本發明涉及計算機視覺與數字圖像處理領域，具體涉及一種基于空洞卷積神經網絡的人臉深度和表面法向量預測方法。

背景技術

人臉深度預測，是計算機視覺領域一個新穎且富有挑戰性的問題。對人臉進行深度預測是理解整個人臉幾何關系的重要組成部分，相應地，人臉幾何關系能夠很好地反映人臉上的器官以及整個面部環境，如果能得到較好的人臉面部深度信息，將會對人臉識別問題提供非常大的幫助，同樣地，也有助于構建人臉的3D模型，有利于解決有關人臉的三維重建問題。但是，從一張人臉的RGB圖片中預測出整個人臉的深度信息本身是一個具有病態性質的問題，因為在將RGB圖像的顏色信息映射成深度值的過程中面臨諸多的不確定性。為了解決這一問題，一些方法是通過馬爾科夫隨場來獲得深度信息，通過條件隨機場來正則化深度圖，但是這些方法依賴于圖像的水平校準，因而對訓練環境比較敏感。在人臉三維重建領域里，表面法向量估計和深度信息估計是相輔相成的，人臉表面法向量預測對于提升人臉深度估計的精度有很大的幫助。

近年來，隨著卷積神經網絡(Convolutional Neural Networks,CNN)的提出，許多計算機視覺與數字圖像處理領域的問題通過使用CNN都取得了非常好的效果。目前，一些基于卷積神經網絡進行深度、表面法向量預測的方法被提出，取得了一些較好的結果，但是也存在著一些問題。比如，隨著卷積層的不斷增加會面臨梯度消失從而訓練不下去的問題；深層網絡的感受野比較小，訓練出的深度圖、表面法向量圖精度不是很高，圖像較為粗糙。

發明內容

為了解決上述問題，本發明提出了一種基于空洞卷積神經網絡的人臉深度和表面法向量預測方法，使用一個神經網絡模型實現人臉深度估計和表面法向量估計兩種任務，顯著地增強了神經網絡的學習能力，避免了由于網絡層數的增加所引起的梯度消失、感受野太小的問題，從而提升深度估計以及表面法向量估計的準確性，獲得較為清晰的深度圖以及表面法向量圖。

本發明為達上述目的所提供的技術方案如下：

一種基于空洞卷積神經網絡的人臉深度和表面法向量預測方法，包括訓練空洞卷積神經網絡的步驟，所述訓練空洞卷積神經網絡的步驟包括：

S1、搭建一空洞卷積神經網絡，所述空洞卷積神經網絡包括依次連接的多個卷積層、多個空洞卷積層和多個反卷積層，其中，每個所述卷積層均連接有一規范化操作和一激勵操作；

S2、初始化所述空洞卷積神經網絡的權重值；

S3、將預先建立的人臉訓練集中的人臉圖片輸入經步驟S2初始化后的空洞卷積神經網絡中，以最小化代價函數為目標對所述空洞卷積神經網絡進行迭代訓練；其中，每迭代一次則更新一次所述權重值；

S4、將預先建立的人臉測試集中的人臉圖片輸入經步驟S3訓練得到的空洞卷積神經網絡中，輸出對應的人臉深度圖和人臉表面法向量圖；其中，所述人臉訓練集和所述人臉測試集中的人臉圖片至少部分不同；

S5、根據步驟S4輸出的人臉深度圖和人臉表面法向量圖，判斷步驟S3訓練得到的空洞卷積神經網絡對人臉深度和人臉表面法向量的預測精度是否符合預設要求：若符合，則結束訓練；若不符合，則返回步驟S3繼續訓練直至訓練得到符合預設要求的空洞卷積神經網絡。