[發(fā)明專利]一種三維人臉模型重建方法及裝置

在審

• 申請?zhí)枺?/td>: 202010450377.2
• 申請日: 2020-05-25
• 公開（公告）號: CN111696196A
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計(jì)）人: 戶磊;張舉勇;保長存;朱海濤;王秋雨
• 申請（專利權(quán)）人: 北京的盧深視科技有限公司;合肥的盧深視科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 楊云云

1.一種三維人臉模型重建方法，其特征在于，包括：

將人臉散斑圖像及人臉散斑參考圖像輸入神經(jīng)網(wǎng)絡(luò)模型中，得到所述人臉散斑圖像和所述人臉散斑參考圖像之間的視差圖對應(yīng)的深度圖；其中，所述神經(jīng)網(wǎng)絡(luò)模型是基于人臉散斑圖像樣本和深度圖真值標(biāo)簽訓(xùn)練得到的；

基于所述深度圖進(jìn)行三維人臉模型重建。

2.根據(jù)權(quán)利要求1所述的三維人臉模型重建方法，其特征在于，所述將人臉散斑圖像及人臉散斑參考圖像輸入神經(jīng)網(wǎng)絡(luò)模型中，得到所述人臉散斑圖像和所述人臉散斑參考圖像之間的視差圖對應(yīng)的深度圖，包括：

將所述人臉散斑圖像及人臉散斑參考圖像輸入神經(jīng)網(wǎng)絡(luò)模型的第一子網(wǎng)絡(luò)中，得到所述人臉散斑圖像和所述人臉散斑參考圖像之間的視差圖；

將所述視差圖輸入所述神經(jīng)網(wǎng)絡(luò)模型的第二子網(wǎng)絡(luò)中，得到所述視差圖對應(yīng)的深度圖。

3.根據(jù)權(quán)利要求2所述的三維人臉模型重建方法，其特征在于，所述將所述視差圖輸入所述神經(jīng)網(wǎng)絡(luò)模型的第二子網(wǎng)絡(luò)中，得到所述視差圖對應(yīng)的深度圖，包括：

在將所述視差圖輸入所述神經(jīng)網(wǎng)絡(luò)模型的第二子網(wǎng)絡(luò)后，基于所述視差圖的視差值、預(yù)先獲取到的相機(jī)焦距以及預(yù)先獲取到的相機(jī)基線將所述視差圖的視差值轉(zhuǎn)換為深度值；

基于所述深度值得到深度圖。

4.根據(jù)權(quán)利要求3所述的三維人臉模型重建方法，其特征在于，所述基于所述視差圖的視差值、預(yù)先獲取到的相機(jī)焦距以及預(yù)先獲取到的相機(jī)基線將所述視差圖的視差值轉(zhuǎn)換為深度值，包括：

通過如下公式將所述視差圖的視差值轉(zhuǎn)換為深度值：

式中，z表示深度值，d表示視差圖的視差值，f表示預(yù)先獲取到的相機(jī)焦距，b表示預(yù)先獲取到的相機(jī)基線。

5.根據(jù)權(quán)利要求1所述的三維人臉模型重建方法，其特征在于，所述基于所述深度圖進(jìn)行三維人臉模型重建，包括：

基于預(yù)設(shè)分辨率對所述深度圖進(jìn)行裁剪，得到目標(biāo)深度圖；

基于所述目標(biāo)深度圖、預(yù)先獲取到的相機(jī)焦距以及預(yù)先獲取到的相機(jī)光心，得到所述目標(biāo)深度圖對應(yīng)的三維點(diǎn)云數(shù)據(jù)；

對所述三維點(diǎn)云數(shù)據(jù)進(jìn)行歸一化處理；

基于預(yù)先獲取到的三維人臉重建模型對處理后的所述三維點(diǎn)云數(shù)據(jù)進(jìn)行三維人臉模型重建。

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的三維人臉模型重建方法，其特征在于，所述將人臉散斑圖像及人臉散斑參考圖像輸入神經(jīng)網(wǎng)絡(luò)模型中，之前包括：

檢測相機(jī)采集的散斑圖像中的人臉邊界框；

根據(jù)所述人臉邊界框確定所述散斑圖像的人臉區(qū)域；

基于所述人臉區(qū)域的像素值、所述人臉區(qū)域的像素鄰域窗口內(nèi)的平均值、所述人臉區(qū)域的像素鄰域窗口內(nèi)的標(biāo)準(zhǔn)差以及預(yù)設(shè)常量對所述人臉區(qū)域的像素值進(jìn)行處理，得到處理后的所述人臉區(qū)域的像素值；

基于處理后的所述人臉區(qū)域的像素值得到所述人臉散斑圖像。

7.根據(jù)權(quán)利要求6所述的三維人臉模型重建方法，其特征在于，所述基于所述人臉區(qū)域的初始像素值、所述人臉區(qū)域的像素鄰域窗口內(nèi)的平均值、所述人臉區(qū)域的像素鄰域窗口內(nèi)的標(biāo)準(zhǔn)差以及預(yù)設(shè)常量對所述人臉區(qū)域的像素值進(jìn)行處理，得到處理后的所述人臉區(qū)域的像素值，包括：

通過如下公式得到處理后的所述人臉區(qū)域的像素值：

式中，表示處理后的所述人臉區(qū)域的像素值、I表示所述人臉區(qū)域的初始像素值、u表示所述人臉區(qū)域的像素鄰域窗口內(nèi)的平均值、σ表示所述人臉區(qū)域的像素鄰域窗口內(nèi)的標(biāo)準(zhǔn)差，ε表示預(yù)設(shè)常量。

8.一種三維人臉模型重建裝置，其特征在于，包括：

輸入單元，用于將人臉散斑圖像及人臉散斑參考圖像輸入神經(jīng)網(wǎng)絡(luò)模型中，得到所述人臉散斑圖像和所述人臉散斑參考圖像之間的視差圖對應(yīng)的深度圖；其中，所述神經(jīng)網(wǎng)絡(luò)模型是基于人臉散斑圖像樣本和深度圖真值標(biāo)簽訓(xùn)練得到的；

重建單元，用于基于所述深度圖進(jìn)行三維人臉模型重建。