[發明專利]對象三維重建方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010348666.1
• 申請日: 2020-04-28
• 公開（公告）號: CN113570634A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 馬里千;張國鑫;孫佳佳;張博寧
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/62;G06T7/73;G06T7/90;G06T17/20;G06K9/00
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張愷寧

本公開是一種對象三維重建方法、裝置、電子設備及存儲介質，涉及計算機視覺技術領域，用以解決對象三維重建效率低的問題。本公開方法包括：獲取二維目標圖像中對象各部位關鍵信息；基于關鍵信息獲得第一差異和第二差異確定的損失函數，第一差異為根據三維目標網格投影確定的關鍵信息與根據二維目標圖像獲取的關鍵信息的差異，第二差異為三維目標網格中各頂點與相鄰頂點的相對位置，與預設三維網格中各頂點與相鄰頂點的相對位置的差異；根據損失函數取最小值時使用的三維目標網格中各頂點的位置坐標三維重建，生成與對象對應的三維模型。由于本公開并非直接在三維空間構建三維模型，而是基于二維圖像獲取三維網格，進而生成三維模型，效率更高。

技術領域

本公開涉及計算機視覺技術領域，尤其涉及一種對象三維重建方法、裝置、電子設備及存儲介質。

背景技術

隨著自拍、短視頻等功能的普及，對象美顏及相關臉部特效的需求也逐漸加強。其中，很多特效依賴于3D(Three Dimensions，三維)人頭模型，例如影視動漫特效等，其中就包含二次元風格的3D人頭模型。如何使用較少的設計資源建立大量的二次元3D人頭模型供線上特效使用，成為了一個非常重要的問題。相關技術方案中，依靠3D設計師設計每一個二次元3D人頭模型，每個人頭模型大概要耗費2個人一周的時間，設計工作量巨大。

綜上，目前還沒有一種簡單高效的方法供設計師使用，因此在設計二次元3D人頭模型比較耗時，效率較低。

發明內容

本公開提供一種對象三維重建方法、裝置、電子設備及存儲介質，以至少解決相關技術中對象三維重建效率低的問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種對象三維重建方法，包括：

獲取二維目標圖像包含的對象中各個部位的關鍵信息，其中所述關鍵信息包括關鍵點和/或蒙版圖像；

基于所述關鍵信息，獲得由第一差異和第二差異確定的損失函數，其中所述第一差異為根據所述對象的三維目標網格在二維空間的投影確定的關鍵信息與根據所述二維目標圖像獲取的關鍵信息之間的差異，所述第二差異為所述三維目標網格中各個頂點與相鄰頂點的相對位置，與所述對象的預設三維網格中各個頂點與相鄰頂點的相對位置之間的差異；

確定所述損失函數取最小值時所使用的三維目標網格中各個頂點的位置坐標；

根據確定的各個頂點的位置坐標進行三維重建，生成與所述對象對應的三維模型。

在一種可選的實施方式中，所述二維目標圖像是按照預設圖層次序將所述各個部位的分層圖像疊加得到的，每個所述分層圖像包括至少一個對象的部位，不同的分層圖像包括的部位不同；

所述獲取二維目標圖像包含的對象中各個部位的關鍵信息，包括：

獲取所述二維目標圖像包含的對象中各個部位的分層圖像，其中所述各個部位的分層圖像是根據預設的各個部位的分層模板生成的；

從所述各個部位的分層圖像中提取與各個部位對應的關鍵信息。

在一種可選的實施方式中，所述獲取二維目標圖像包含的對象中各個部位的關鍵信息，包括：

針對任意一個部位，將所述二維目標圖像中與所述部位對應的圖像轉換為蒙版圖像，并將所述蒙版圖像作為所述部位的關鍵信息；或

針對任意一個部位，提取所述部位在所述二維目標圖像中對應的關鍵點，并將提取的關鍵點作為所述部位的關鍵信息。

在一種可選的實施方式中，在所述基于所述關鍵信息，獲得由第一差異和第二差異確定的損失函數之前，還包括：