[發(fā)明專利]人臉重建方法、裝置、電子設(shè)備以及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202310067248.9
• 申請日: 2023-01-12
• 公開（公告）號: CN116206035A
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 徐志良;周航;梁柏榮;何棟梁;劉經(jīng)拓
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/06;G06V10/74;G06T17/00;G06V40/16
• 代理公司: 北京易光知識產(chǎn)權(quán)代理有限公司 11596
• 代理人: 王姍姍;閻敏

1.一種人臉重建方法，包括：

基于人臉模型當(dāng)前的第一參數(shù)集合，采用光柵化方式得到第一渲染圖，并采用光線追蹤方式得到第二渲染圖；

基于所述第一渲染圖與人臉圖像，得到第一損失；

基于所述第二渲染圖與所述人臉圖像，得到第二損失；

基于所述第一損失以及所述第二損失，更新所述第一參數(shù)集合；

基于符合第一預(yù)設(shè)條件，則將所述第一參數(shù)集合作為所述人臉圖像對應(yīng)的人臉模型的優(yōu)化參數(shù)集合。

2.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：

基于預(yù)先設(shè)定的初始化形狀參數(shù)，得到第一網(wǎng)格；

基于所述第一網(wǎng)格中的人臉關(guān)鍵點(diǎn)位置以及所述人臉圖像中的人臉關(guān)鍵點(diǎn)位置，確定所述人臉模型的初始化姿態(tài)參數(shù)；

基于所述初始化姿態(tài)參數(shù)以及所述初始化形狀參數(shù)，得到初始化的第一參數(shù)集合。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述基于所述人臉模型的第一參數(shù)集合，采用光柵化方式得到第一渲染圖，并采用光線追蹤方式得到第二渲染圖，包括：

基于所述第一參數(shù)集合中的形狀參數(shù)，得到第二網(wǎng)格；

基于所述第一參數(shù)集合中的姿態(tài)參數(shù)對所述第二網(wǎng)格進(jìn)行姿態(tài)轉(zhuǎn)換，得到第三網(wǎng)格；

基于所述第一參數(shù)集合中的紋理參數(shù)以及所述第三網(wǎng)格，得到紋理圖；

采用光柵化方式對所述紋理圖進(jìn)行渲染，得到所述第一渲染圖；

采用光線追蹤方式對所述紋理圖進(jìn)行渲染，得到所述第二渲染圖。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其中，所述第一損失包括所述第一渲染圖與所述人臉圖像之間的身份損失和/或圖像損失。

5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的方法，其中，所述第二損失包括所述第二渲染圖與所述人臉圖像之間的圖像損失。

6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其中，所述基于所述第一損失以及所述第二損失，更新所述第一參數(shù)集合，包括：

基于所述第一參數(shù)集合對應(yīng)的網(wǎng)格中的人臉關(guān)鍵點(diǎn)位置以及所述人臉圖像中的人臉關(guān)鍵點(diǎn)位置，得到第一關(guān)鍵點(diǎn)損失；

基于所述第一損失、所述第二損失以及所述第一關(guān)鍵點(diǎn)損失，更新所述第一參數(shù)集合。

7.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其中，所述基于所述第一損失以及所述第二損失，更新所述第一參數(shù)集合，包括：

基于預(yù)先設(shè)定的正則約束規(guī)則，確定所述第一參數(shù)集合對應(yīng)的第一正則約束損失；

基于所述第一損失、所述第二損失以及所述第一正則約束損失，更新所述第一參數(shù)集合。

8.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，還包括：

基于所述優(yōu)化參數(shù)集合中除姿態(tài)參數(shù)以外的其他參數(shù)，得到初始化的第二參數(shù)集合；

基于所述優(yōu)化參數(shù)集合中的姿態(tài)參數(shù)以及當(dāng)前的第二參數(shù)集合，采用光柵化方式得到第三渲染圖，并采用光線追蹤方式得到第四渲染圖；

基于所述第三渲染圖與所述人臉圖像，得到第三損失；

基于所述第四渲染圖與所述人臉圖像，得到第四損失；

基于所述第三損失以及所述第四損失，更新所述第二參數(shù)集合；

基于符合第二預(yù)設(shè)條件，則根據(jù)所述優(yōu)化參數(shù)集合中的姿態(tài)參數(shù)以及所述第二參數(shù)集合，得到目標(biāo)參數(shù)集合。

9.根據(jù)權(quán)利要求8所述的方法，其中，所述第二參數(shù)集合中的紋理參數(shù)的學(xué)習(xí)率大于所述第一參數(shù)集合中的紋理參數(shù)的學(xué)習(xí)率。

10.根據(jù)權(quán)利要求8或9所述的方法，其中，所述第三損失對應(yīng)的損失權(quán)重大于所述第一損失對應(yīng)的損失權(quán)重；所述第四損失對應(yīng)的損失權(quán)重大于所述第二損失對應(yīng)的損失權(quán)重。