[發明專利]3D模型重建方法、裝置及電子設備

有效

• 申請號: 201910591668.0
• 申請日: 2019-07-02
• 公開（公告）號: CN110378948B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 李佩易;王長虎
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/11;G06T17/10
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 安凱

1.一種3D模型重建方法，其特征在于，包括：

對從包含目標對象的圖像集合中選取的第一圖像執行3D重建操作，形成針對所述目標對象的第一3D臨時模型，所述第一3D臨時模型與所述第一圖像中的目標對象具有相同的輪廓表面；

利用所述第一3D臨時模型及所述圖像集合中的第二圖像，構建針對所述目標對象的第二3D臨時模型，所述第二3D臨時模型與所述第二圖像中的目標對象具有相同的輪廓表面；

當所述第二3D臨時模型與所述第一3D臨時模型的輪廓誤差小于預設閾值時，將所述第二3D臨時模型作為所述目標對象的3D重建模型；

所述利用所述第一3D臨時模型及所述圖像集合中的第二圖像，構建針對所述目標對象的第二3D臨時模型，包括：對所述第一3D臨時模型執行姿態拉伸操作，使所述第一3D臨時模型處于初始姿態狀態；對處于初始姿態狀態的第一3D臨時模型執行模型重建操作，形成所述第二3D臨時模型。

2.根據權利要求1所述的方法，其特征在于，所述利用所述第一3D臨時模型及所述圖像集合中的第二圖像，構建針對所述目標對象的第二3D臨時模型之后，所述方法還包括：

當所述第二3D臨時模型與所述第一3D臨時模型的誤差大于預設閾值時，利用所述第二3D臨時模型及所述圖像集合中的第三圖像，構建針對所述目標對象的第三3D臨時模型，所述第三3D臨時模型與所述第三圖像中的目標對象具有相同的輪廓表面。

3.根據權利要求1所述的方法，其特征在于，所述利用所述第一3D臨時模型及所述圖像集合中的第二圖像，構建針對所述目標對象的第二3D臨時模型之后，所述方法還包括：

獲取所述第一3D臨時模型和所述第二3D臨時模型之間的輪廓誤差；

基于所述輪廓誤差判斷所述第二3D臨時模型與所述第一3D臨時模型的誤差是否小于預設閾值。

4.根據權利要求1所述的方法，其特征在于，所述利用所述第一3D臨時模型及所述圖像集合中的第二圖像，構建針對所述目標對象的第二3D臨時模型，包括：

獲取所述第二3D臨時模型中任一三角面片的可視比例；

基于所述可視比例來選擇所述三角面片上的貼圖信息。

5.根據權利要求4所述的方法，其特征在于，所述利用所述第一3D臨時模型及所述圖像集合中的第二圖像，構建針對所述目標對象的第二3D臨時模型，還包括：

查找所述第二3D臨時模型中不存在對應貼圖信息的三角面片；

利用預設的神經網絡模型預測不存在對應貼圖信息的三角面片的貼圖信息。

6.根據權利要求1所述的方法，其特征在于，所述對從包含目標對象的圖像集合中選取的第一圖像執行3D重建操作，形成針對所述目標對象的第一3D臨時模型，包括：

對所述第一圖像上存在的目標對象執行分割操作，以獲得所述目標對象的分割掩碼；

基于所述分割掩碼，獲取所述目標對象在所述第一圖像上的紋理貼圖；

對所述目標對象執行骨骼檢測，形成所述目標對象的3D骨骼模型；

將所述紋理貼圖與所述3D骨骼模型按照對應關系進行匹配，形成所述目標對象的第一3D臨時模型。

7.根據權利要求6所述的方法，其特征在于，所述對所述目標對象執行骨骼檢測，形成所述目標對象的3D骨骼模型，包括：

將預設的3D初始模型投影到2D平面上，形成模型輪廓；

基于所述分割掩碼，形成所述目標對象的輸入輪廓；

在所述輸入輪廓和所述模型輪廓上分別設置第一關鍵點集合和第二關鍵點集合，所述第一關鍵點集合與所述第二關鍵點集合中關鍵點的數目相同且一一對應；

計算所述模型輪廓中任一關鍵點pi在所述輸入輪廓中的對應平面坐標(xi，yi)；

根據輸入輪廓和模型輪廓在長、寬上的變化比例，變換所述3D初始模型中任一關鍵點pi的空間坐標zi；

基于所述平面坐標和所述空間坐標，確定所述3D骨骼模型的最終形狀。