[發明專利]一種基于端到端卷積神經網絡的人臉三維重建方法在審
| 申請號： | 201810576253.1 | 申請日： | 2018-06-06 |
| 公開（公告）號： | CN108805977A | 公開（公告）日： | 2018-11-13 |
| 發明（設計）人： | 任重;俞云康;周昆 | 申請（專利權）人： | 浙江大學 |
| 主分類號： | G06T17/00 | 分類號： | G06T17/00;G06N3/04;G06N3/08 |
| 代理公司： | 杭州求是專利事務所有限公司 33200 | 代理人： | 邱啟旺 |
| 地址： | 310058 浙江*** | 國省代碼： | 浙江;33 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 人臉 卷積神經網絡 人臉圖片 三維模型 三維重建 端到端 重建 端到端網絡 對比實驗 人臉對齊 人臉數據 損失函數 點坐標 關鍵點 二維 算法 三維 預測 學習 | ||
1.一種基于端到端卷積神經網絡的人臉三維重建方法，其特征在于，該方法包括如下步驟：
(1)獲取模板人臉:基于Basel人臉數據庫中的平均人臉三維模型，去除每個頂點的三維坐標值，只保留頂點之間的連接關系和每個頂點的二維UV坐標。
(2)處理訓練數據集：基于AFLW2000人臉數據集，首先擴充訓練數據，然后編碼人臉三維模型。
(3)訓練神經網絡：使用深度學習工具TensorFlow構建卷積神經網絡，并在訓練集上訓練。
(4)重建三維人臉：對于需要重建的人臉圖片，使用步驟3得到神經網絡模型，重建得到三維人臉模型。
2.根據權利要求1所述基于端到端卷積神經網絡的人臉三維重建方法，其特征在于，所述步驟2包括以下子步驟：
(2.1)擴充訓練數據：對于AFLW2000人臉數據集中的每張人臉圖片，使用水平翻轉、繞圖片中心旋轉隨機角度、在水平方向上平移隨機距離、在垂直方向上平移隨機距離或用隨機圖片遮擋方式擴展生成多張新的人臉。
(2.2)編碼人臉三維模型：對于訓練數據集中的每個人臉模型，將其中的每個頂點按如下方式變換以和人臉圖片對齊：
vi′＝Ti·Ri·Si·vi
其中，下標i表示第i個人臉模型，vi表示變換前的頂點坐標，vi′表示變換后的坐標，T表示平移矩陣，R表示旋轉矩陣，S表示縮放矩陣。
接下來對每個人臉模型生成一張256x256的三通道、浮點格式的圖片Ii，稱之為二維點坐標圖。每個頂點根據其二維UV坐標(xi,yi)，將變換后的三維坐標vi寫入Ii對應的像素點，即：
Ii[xi,yi]＝vi′
對于Ii中未被UV坐標覆蓋的像素點(x,y)，找到距離其最近的三個UV坐標(uva,uvb,uvc)，這三個UV坐標構成一個三角形，計算該點在這個三角形中的重心坐標(wa,wb,wc)，按如下方式得到像素點(x,y)的值：
Ii[x,y]＝wa·v′a+wb·vb′+wc·vc′
其中v′a，vb′，vc′為三個UV坐標對應的變換后的頂點三維坐標。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于浙江大學，未經浙江大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810576253.1/1.html，轉載請聲明來源鉆瓜專利網。
