[發明專利]3D模型重建方法、裝置及電子設備

有效

• 申請號: 201910591668.0
• 申請日: 2019-07-02
• 公開（公告）號: CN110378948B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 李佩易;王長虎
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/11;G06T17/10
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 安凱

本公開實施例中提供了一種3D模型重建方法、裝置及電子設備，屬于數據處理技術領域，該方法包括：對從包含目標對象的圖像集合中選取的第一圖像執行3D重建操作，形成針對所述目標對象的第一3D臨時模型；利用所述第一3D臨時模型及所述圖像集合中的第二圖像，構建針對所述目標對象的第二3D臨時模型；當所述第二3D臨時模型與所述第一3D臨時模型的誤差小于預設閾值時，將所述第二3D臨時模型作為所述目標對象的3D重建模型。通過本公開的方案，能夠基于多張圖像進行3D建模，提高了3D模型重建的便利性和準確性。

技術領域

本公開涉及3D模型重建技術領域，尤其涉及一種3D模型重建方法、裝置及電子設備。

背景技術

基于人物的3D建模，是通過一定的技術手段來設立人物的三維模型，常見的3D模型重建方法包括基于高精度硬件，對整個人體進行全身進行掃描，根據掃描數據建立人體3D模型。還可以根據標準人體3D模型，由專業的藝術工作者，根據目標人體的樣貌(照片、視頻等記錄下的樣貌)，調整3D模型，使其盡可能地接近目標人體的3D樣貌。或者使用GAN網絡實現相似功能，創建后的人體3D模型，一般的使用場景是讓該模型做一些指定的動作(比如跳舞)。使用深度學習中的對抗網絡(GAN)也可以達到相類似的效果。方法是通過對目標人物(人物A)的多張圖片數據，學習出人物A的GAN模型，然后根據舞蹈動作的2D骨骼生成人物A的跳舞動作。

上述實現方式具有如下缺陷：(1)成本高、時間長、需要特定的硬件。被建模的人物必須非常地配合，并且在特定的場所進行數據采集才可以生成人體的3D建模。(2)必須要專業的藝術工作者來對模型進行調整。成本高的同時，無法實現全自動化的人體3D建模。(3)對于每一個要建模的人物都必須重新學習(機器學習、深度學習)，才能生成該人物的跳舞動作。這個過程的耗時很長、計算成本高。并且生成出來的舞蹈動作在現有技術下不是特別自然。同時，這種方法的應用場景十分受限。(4)建模和貼圖都會有失真的情況。由于人體的單張照片需要是全身照片(或至少是露出半身的照片)，貼圖的質量不高。由于單張照片的視角限制，再加上一些遮擋，部分人體是無法采集信息的，因此方法中大量使用GAN網絡進行被遮擋部分的生成(包括3D結構和貼圖)。在這個過程中難免引起失真。

發明內容

有鑒于此，本公開實施例提供一種3D模型重建方法、裝置及電子設備，至少部分解決現有技術中存在的問題。

第一方面，本公開實施例提供了一種3D模型重建方法，包括：

對從包含目標對象的圖像集合中選取的第一圖像執行3D重建操作，形成針對所述目標對象的第一3D臨時模型，所述第一3D臨時模型與所述第一圖像中的目標對象具有相同的輪廓表面；

利用所述第一3D臨時模型及所述圖像集合中的第二圖像，構建針對所述目標對象的第二3D臨時模型，所述第二3D臨時模型與所述第二圖像中的目標對象具有相同的輪廓表面；

當所述第二3D臨時模型與所述第一3D臨時模型的誤差小于預設閾值時，將所述第二3D臨時模型作為所述目標對象的3D重建模型。

根據本公開實施例的一種具體實現方式，所述利用所述第一3D臨時模型及所述圖像集合中的第二圖像，構建針對所述目標對象的第二3D臨時模型之后，所述方法還包括：

當所述第二3D臨時模型與所述第一3D臨時模型的誤差大于預設閾值時，利用所述第二3D臨時模型及所述圖像集合中的第三圖像，構建針對所述目標對象的第三3D臨時模型，所述第三3D臨時模型與所述第三圖像中的目標對象具有相同的輪廓表面。

根據本公開實施例的一種具體實現方式，所述利用所述第一3D臨時模型及所述圖像集合中的第二圖像，構建針對所述目標對象的第二3D臨時模型，包括：

對所述第一3D臨時模型執行姿態拉伸操作，使所述第一3D臨時模型處于初始姿態狀態；

對處于初始姿態狀態的第一3D臨時模型執行模型重建操作，形成所述第二3D臨時模型。