[發明專利]一種基于級聯回歸網絡的單張圖片三維人臉重建方法

有效

• 申請號: 201810179206.3
• 申請日: 2018-03-05
• 公開（公告）號: CN108399649B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 張剛;韓琥;張杰;山世光;陳熙霖
• 申請（專利權）人: 中科視拓（北京）科技有限公司
• 主分類號: G06T15/20
• 分類號: G06T15/20;G06T3/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于級聯回歸網絡的單張圖片三維人臉重建方法，其特征在于：所述方法的整體步驟如下：

步驟一、數據準備：

a、用3D掃描儀采集三維人臉數據，包括每個視角的二維人臉圖片、每個視角的人臉姿態、三維人臉形狀點云、68個特征點標注以及三維人臉形狀點云的三角關系；

b、將采集得到的人臉圖片做人臉檢測，裁剪人臉圖片，同時根據人臉姿態對三維人臉形狀點云做處理，得到對應于裁剪后人臉圖片的三維人臉形狀點云；

步驟二、模型設計：

a、構建包含兩級多任務卷積神經網絡的網絡模型，并逐級回歸三維人臉形狀、人臉特征點的三維坐標以及人臉姿態的角度；

b、向第一級網絡輸入一張100*100*3的人臉圖片，同時回歸預測三維人臉全部點的三維坐標、人臉68個特征點的三維坐標以及人臉姿態的角度；

c、提取改進形狀特征：首先計算輸入至第一級網絡中人臉68個特征點的可見性，對于可見的特征點，將其投影到原來的二維人臉圖片上，以可見的特征點為中心，用雙線性插值的方法裁剪10*10大小的圖片塊；對于不可見的特征點，10*10大小的圖片塊直接填充為0；然后將上述10*10大小的圖片塊拼接成100*100*3大小的圖片，空余地方用0填充；

d、向第二級網絡輸入一張100*100*3的人臉圖片，以及上一步提取的改進形狀特征，回歸三維人臉全部點的三維坐標殘差、人臉68個特征點的三維坐標殘差以及人臉姿態殘差；

步驟三、模型訓練：

a、訓練第一級網絡：向第一級網絡輸入一張100*100*3的人臉圖片，和對應的三維人臉全部點的三維坐標、人臉68個特征點的三維坐標以及人臉姿態，計算歐氏距離損失，利用批次隨機梯度下降方法更新網絡參數；

b、當第一級網絡模型在校驗集上獲得的三維人臉重建精度不能隨著訓練過程再提升時，停止訓練；然后按照步驟二中的步驟c提取訓練集二維人臉圖片的改進形狀特征；

c、訓練第二級網絡：向第二級網絡輸入一張100*100*3的人臉圖片以及對應的改進形狀特征，和根據第一級預測結果得到的三維人臉全部點的三維坐標殘差、人臉68個特征點的三維坐標殘差、人臉姿態殘差，計算歐式距離損失，利用批次隨機梯度下降方法更新網絡參數；

d、當第二級網絡模型在校驗集上獲得的三維人臉重建精度不能隨著訓練過程再提升時，停止訓練；

e、最終訓練完成獲得多任務級聯回歸卷積神經網絡M；

步驟四、模型測試：

a、輸入圖像為包含人臉的圖像I；

b、將圖像I輸入人臉檢測器并獲得人臉位置，并利用該人臉位置裁剪圖像I獲得人臉圖像Img；

c、將人臉圖像Img輸入到多任務級聯回歸卷積神經網絡M中，獲得三維人臉形狀、人臉特征點以及人臉姿態；

d、根據計算得到的三維人臉形狀以及三維人臉形狀點云的三角關系，用OpenGL渲染并顯示三維人臉結構。