[發(fā)明專(zhuān)利]一種人臉三維重建方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810272130.9
• 申請(qǐng)日: 2018-03-29
• 公開(kāi)（公告）號(hào): CN108615256B
• 公開(kāi)（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 向偉;陳正勇;劉興文
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西南民族大學(xué)
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 黃志華

1.一種人臉三維重建方法，其特征在于，包括：

針對(duì)待進(jìn)行三維重建的人臉，在不同拍攝角度下獲取該人臉的至少兩幅圖像；

將每幅人臉圖像輸入到用于定位人臉特征點(diǎn)的定位模型中，得到該幅人臉圖像中人臉特征點(diǎn)的位置信息，所述定位模型包含多個(gè)子模型，每一子模型用于定位一個(gè)人臉部位中的特征點(diǎn)，且所述子模型是將預(yù)設(shè)幅人臉圖像中所述人臉部位的特征點(diǎn)的位置信息輸入到預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練得到的；

根據(jù)各幅人臉圖像中人臉特征點(diǎn)的位置信息對(duì)圖像中的人臉進(jìn)行三維重建；

將每幅人臉圖像輸入到用于定位人臉特征點(diǎn)的定位模型中，得到該幅人臉圖像中人臉特征點(diǎn)的位置信息之后，還包括：

根據(jù)所述人臉特征點(diǎn)的位置信息確定該幅人臉圖像中人臉部位的相對(duì)位置矩陣；

利用預(yù)先確定的標(biāo)準(zhǔn)人臉部位的相對(duì)位置矩陣對(duì)該幅人臉圖像中人臉部位的相對(duì)位置矩陣進(jìn)行校正。

2.如權(quán)利要求1所述的方法，其特征在于，利用預(yù)先確定的標(biāo)準(zhǔn)人臉部位的相對(duì)位置矩陣對(duì)該幅人臉圖像中人臉部位的相對(duì)位置矩陣進(jìn)行校正，包括：

確定所述標(biāo)準(zhǔn)人臉部位的相對(duì)位置矩陣與該幅人臉圖像中人臉部位的相對(duì)位置矩陣的誤差矩陣；

若確定所述誤差矩陣中存在大于預(yù)設(shè)值的元素，則利用模擬退火算法對(duì)大于預(yù)設(shè)值的每一元素對(duì)應(yīng)的人臉特征點(diǎn)的位置進(jìn)行尋優(yōu)；

根據(jù)尋優(yōu)后人臉特征點(diǎn)的位置，返回根據(jù)所述人臉特征點(diǎn)的位置信息確定該幅人臉圖像中人臉部位的相對(duì)位置矩陣的步驟。

3.如權(quán)利要求2所述的方法，其特征在于，確定所述標(biāo)準(zhǔn)人臉部位的相對(duì)位置矩陣與該幅人臉圖像中人臉部位的相對(duì)位置矩陣的誤差矩陣，包括：

計(jì)算所述標(biāo)準(zhǔn)人臉部位的相對(duì)位置矩陣與該幅人臉圖像中人臉部位的相對(duì)位置矩陣的差矩陣；

對(duì)所述差矩陣中的每一列元素分別進(jìn)行求和，將得到的行向量確定為所述誤差矩陣。

4.如權(quán)利要求1所述的方法，其特征在于，根據(jù)以下公式確定該幅人臉圖像中人臉部位的相對(duì)位置矩陣S：

其中，S_ij為S中第i行第j列的元素，d_ij為該幅人臉圖像中第i個(gè)人臉特征點(diǎn)與第j個(gè)人臉特征點(diǎn)之間的距離，1≤i≤n，1≤j≤n，n為該幅人臉圖像中人臉特征點(diǎn)的總個(gè)數(shù)。

5.一種人臉三維重建裝置，其特征在于，包括：

獲取模塊，用于針對(duì)待進(jìn)行三維重建的人臉，在不同拍攝角度下獲取該人臉的至少兩幅圖像；

定位模塊，用于將每幅人臉圖像輸入到用于定位人臉特征點(diǎn)的定位模型中，得到該幅人臉圖像中人臉特征點(diǎn)的位置信息，所述定位模型包含多個(gè)子模型，每一子模型用于定位一個(gè)人臉部位中的特征點(diǎn)，且所述子模型是將預(yù)設(shè)幅人臉圖像中所述人臉部位的特征點(diǎn)的位置信息輸入到預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練得到的；

重建模塊，用于根據(jù)各幅人臉圖像中人臉特征點(diǎn)的位置信息對(duì)圖像中的人臉進(jìn)行三維重建；

還包括，確定模塊和校正模塊：

所述確定模塊，用于將每幅人臉圖像輸入到用于定位人臉特征點(diǎn)的定位模型中，得到該幅人臉圖像中人臉特征點(diǎn)的位置信息之后，根據(jù)所述人臉特征點(diǎn)的位置信息確定該幅人臉圖像中人臉部位的相對(duì)位置矩陣；

所述校正模塊，用于利用預(yù)先確定的標(biāo)準(zhǔn)人臉部位的相對(duì)位置矩陣對(duì)該幅人臉圖像中人臉部位的相對(duì)位置矩陣進(jìn)行校正。

6.如權(quán)利要求5所述的裝置，其特征在于，所述校正模塊具體用于：

確定所述標(biāo)準(zhǔn)人臉部位的相對(duì)位置矩陣與該幅人臉圖像中人臉部位的相對(duì)位置矩陣的誤差矩陣；

若確定所述誤差矩陣中存在大于預(yù)設(shè)值的元素，則利用模擬退火算法對(duì)大于預(yù)設(shè)值的每一元素對(duì)應(yīng)的人臉特征點(diǎn)的位置進(jìn)行尋優(yōu)；

根據(jù)尋優(yōu)后人臉特征點(diǎn)的位置，返回根據(jù)所述人臉特征點(diǎn)的位置信息確定該幅人臉圖像中人臉部位的相對(duì)位置矩陣的步驟。

7.如權(quán)利要求6所述的裝置，其特征在于，所述校正模塊具體用于：

計(jì)算所述標(biāo)準(zhǔn)人臉部位的相對(duì)位置矩陣與該幅人臉圖像中人臉部位的相對(duì)位置矩陣的差矩陣；

對(duì)所述差矩陣中的每一列元素分別進(jìn)行求和，將得到的行向量確定為所述誤差矩陣。