[發(fā)明專利]基于空洞卷積神經(jīng)網(wǎng)絡(luò)的人臉深度和表面法向量預(yù)測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710889248.1
• 申請(qǐng)日: 2017-09-27
• 公開（公告）號(hào): CN107679477B
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 王好謙;章書豪;方璐;戴瓊海
• 申請(qǐng)（專利權(quán)）人: 深圳市未來媒體技術(shù)研究院;清華大學(xué)深圳研究生院
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 徐羅艷

1.一種基于空洞卷積神經(jīng)網(wǎng)絡(luò)的人臉深度和表面法向量預(yù)測(cè)方法，包括訓(xùn)練空洞卷積神經(jīng)網(wǎng)絡(luò)的步驟，所述訓(xùn)練空洞卷積神經(jīng)網(wǎng)絡(luò)的步驟包括：

S1、搭建一空洞卷積神經(jīng)網(wǎng)絡(luò)，所述空洞卷積神經(jīng)網(wǎng)絡(luò)包括依次連接的多個(gè)卷積層、多個(gè)空洞卷積層和多個(gè)反卷積層，其中，每個(gè)所述卷積層均連接有一規(guī)范化操作和一激勵(lì)操作；

S2、初始化所述空洞卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重值；

S3、將預(yù)先建立的人臉訓(xùn)練集中的人臉圖片輸入經(jīng)步驟S2初始化后的空洞卷積神經(jīng)網(wǎng)絡(luò)中，以最小化代價(jià)函數(shù)為目標(biāo)對(duì)所述空洞卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練；其中，每迭代一次則更新一次所述權(quán)重值；所述代價(jià)函數(shù)包括深度估計(jì)代價(jià)函數(shù)和表面法向量估計(jì)代價(jià)函數(shù)，所述表面法向量估計(jì)代價(jià)函數(shù)為：

其中，N_i和分別為所述人臉訓(xùn)練集中的第i張人臉圖片經(jīng)過所述空洞卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練后得到的像素法向量值、像素法向量ground truth值，m表示所述人臉訓(xùn)練集中的每張人臉圖片中具有法向量信息的像素點(diǎn)個(gè)數(shù)；

S4、將預(yù)先建立的人臉測(cè)試集中的人臉圖片輸入經(jīng)步驟S3訓(xùn)練得到的空洞卷積神經(jīng)網(wǎng)絡(luò)中，輸出對(duì)應(yīng)的人臉深度圖和人臉表面法向量圖；其中，所述人臉訓(xùn)練集和所述人臉測(cè)試集中的人臉圖片至少部分不同；所述人臉表面法向量圖是通過所述深度圖獲得像素的點(diǎn)云數(shù)據(jù)，并采用最小二乘平面擬合而得到；

S5、根據(jù)步驟S4輸出的人臉深度圖和人臉表面法向量圖，判斷步驟S3訓(xùn)練得到的空洞卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉深度和人臉表面法向量的預(yù)測(cè)精度是否符合預(yù)設(shè)要求：若符合，則結(jié)束訓(xùn)練；若不符合，則返回步驟S3繼續(xù)訓(xùn)練直至訓(xùn)練得到符合預(yù)設(shè)要求的空洞卷積神經(jīng)網(wǎng)絡(luò)。

2.如權(quán)利要求1所述的預(yù)測(cè)方法，其特征在于：步驟S1搭建的空洞卷積神經(jīng)網(wǎng)絡(luò)中，多個(gè)卷積層依次串聯(lián)，并且每個(gè)卷積層的輸出端依次串聯(lián)所述規(guī)范化操作和激勵(lì)操作；所述空洞卷積層串聯(lián)于所述多個(gè)卷積層之后；所述多個(gè)反卷積層依次串聯(lián)于所述空洞卷積層之后。

3.如權(quán)利要求2所述的預(yù)測(cè)方法，其特征在于：所述規(guī)范化操作為BatchNormalization操作，所述激勵(lì)操作為L(zhǎng)eaky ReLU激勵(lì)操作。

4.如權(quán)利要求2所述的預(yù)測(cè)方法，其特征在于：所述空洞卷積神經(jīng)網(wǎng)絡(luò)包括四個(gè)空洞卷積層，所述四個(gè)空洞卷積層的空洞系數(shù)分別為1，2，2，4。

5.如權(quán)利要求1所述的預(yù)測(cè)方法，其特征在于：所述深度估計(jì)代價(jià)函數(shù)由損失項(xiàng)和正則項(xiàng)構(gòu)成，如下：

其中，為正則項(xiàng)，為損失項(xiàng)；y_i、y_i*分別表示人臉訓(xùn)練集中的第i張人臉圖片經(jīng)過所述空洞卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練后所得到的像素深度值、像素ground truth值，n表示所述人臉訓(xùn)練集中的每張人臉圖片中具有深度信息的像素點(diǎn)個(gè)數(shù)，λ表示損失項(xiàng)的正則系數(shù)。

6.如權(quán)利要求1所述的預(yù)測(cè)方法，其特征在于：步驟S2中通過隨機(jī)高斯分布生成初始化的權(quán)重值；步驟S3中采用AdamOptimizer方法來最小化代價(jià)函數(shù)。

7.如權(quán)利要求1所述的預(yù)測(cè)方法，其特征在于：步驟S4中，判斷步驟S3訓(xùn)練得到的空洞卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉深度和人臉表面法向量的預(yù)測(cè)精度是否符合預(yù)設(shè)要求具體包括：

對(duì)輸出的人臉深度圖，計(jì)算其對(duì)應(yīng)的平均絕對(duì)相關(guān)誤差rel、均方根誤差rms以及l(fā)og10誤差三個(gè)參數(shù)，并判斷所述三個(gè)參數(shù)的值是否符合對(duì)應(yīng)的預(yù)設(shè)閾值；

對(duì)輸出的人臉表面法向量圖，計(jì)算其對(duì)應(yīng)的角度誤差，并判斷計(jì)算出的角度誤差的值是否符合對(duì)應(yīng)的預(yù)設(shè)閾值。

8.如權(quán)利要求5所述的預(yù)測(cè)方法，其特征在于：所述損失項(xiàng)的正則系數(shù)λ＝0.5。