[發明專利]人臉重建方法、裝置、電子設備以及存儲介質

在審

• 申請號: 202310067248.9
• 申請日: 2023-01-12
• 公開（公告）號: CN116206035A
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 徐志良;周航;梁柏榮;何棟梁;劉經拓
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/06;G06V10/74;G06T17/00;G06V40/16
• 代理公司: 北京易光知識產權代理有限公司 11596
• 代理人: 王姍姍;閻敏

本公開提供了人臉重建方法、裝置、電子設備以及存儲介質，涉及人工智能技術領域，具體為計算機視覺、圖像處理、深度學習等技術領域，可應用于元宇宙、虛擬數字人等場景。具體實現方案為：基于人臉模型當前的第一參數集合，采用光柵化方式得到第一渲染圖，并采用光線追蹤方式得到第二渲染圖；基于第一渲染圖與人臉圖像，得到第一損失；基于第二渲染圖與人臉圖像，得到第二損失；基于第一損失以及第二損失，更新第一參數集合；基于符合第一預設條件，則將第一參數集合作為該人臉圖像對應的人臉模型的優化參數集合。本公開實施例可提升人臉模型對應的3D人臉與人臉圖像相似度。

技術領域

本公開涉及人工智能技術領域，具體為計算機視覺、圖像處理、深度學習等技術領域，可應用于元宇宙、虛擬數字人等場景。

背景技術

人臉重建是指從圖像或視頻等數據中得到人臉的3維(3Dimensions，3D)表達，并且保證該三維表達對應的五官、臉型特征與圖像或視頻中人臉的五官、臉型特征相似，從而將該三維表達作為人物的數字化替身，用以實現3D虛擬人物的制作。

目前一般采用參數化的人臉模型作為人臉的3D表達，通過確定人臉模型中的參數實現人臉重建。但相關技術中人臉模型對應的3D人臉與人臉圖像相似度仍有待優化。

發明內容

本公開提供了一種人臉重建方法、裝置、電子設備以及存儲介質。

根據本公開的一方面，提供了一種人臉重建方法，包括：

基于人臉模型當前的第一參數集合，采用光柵化方式得到第一渲染圖，并采用光線追蹤方式得到第二渲染圖；

基于第一渲染圖與人臉圖像，得到第一損失；

基于第二渲染圖與人臉圖像，得到第二損失；

基于第一損失以及第二損失，更新第一參數集合；

基于符合第一預設條件，則將第一參數集合作為該人臉圖像對應的人臉模型的優化參數集合。

根據本公開的另一方面，提供了一種人臉重建裝置，包括：

第一渲染單元，用于基于人臉模型當前的第一參數集合，采用光柵化方式得到第一渲染圖，并采用光線追蹤方式得到第二渲染圖；

第一損失單元，用于基于第一渲染圖與人臉圖像，得到第一損失；

第二損失單元，用于基于第二渲染圖與人臉圖像，得到第二損失；

第一更新單元，用于基于第一損失以及第二損失，更新第一參數集合；

第一確定單元，用于基于符合第一預設條件，則將第一參數集合作為目標參數集合。

根據本公開的另一方面，提供了一種電子設備，包括：

至少一個處理器；以及

與該至少一個處理器通信連接的存儲器；其中，

該存儲器存儲有可被該至少一個處理器執行的指令，該指令被該至少一個處理器執行，以使該至少一個處理器能夠執行本公開實施例中任一的方法。

根據本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，該計算機指令用于使該計算機執行根據本公開實施例中任一的方法。

根據本公開的另一方面，提供了一種計算機程序產品，包括計算機程序，該計算機程序在被處理器執行時實現根據本公開實施例中任一的方法。