[發明專利]3D模型重建方法、裝置及電子設備

有效

• 申請號: 201910591285.3
• 申請日: 2019-07-02
• 公開（公告）號: CN110378947B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李佩易;王長虎
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/11;G06T15/00;G06T17/10;G06V10/764
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 徐雅琴

1.一種3D模型重建方法，其特征在于，包括：

從包含目標對象的輸入圖像上對所述目標對象執行分割操作，以獲得所述目標對象在所述輸入圖像上的紋理貼圖；

將預設的3D初始模型投影到2D平面上，形成模型輪廓；

基于分割掩碼，形成所述目標對象的輸入輪廓；其中，所述分割掩碼是從所述輸入圖像中提取所述目標對象的邊緣，根據所述邊緣形成的；

在所述輸入輪廓和所述模型輪廓上分別設置第一關鍵點集合和第二關鍵點集合，所述第一關鍵點集合與所述第二關鍵點集合中關鍵點的數目相同且一一對應；

計算所述模型輪廓中任一關鍵點pi在所述輸入輪廓中的對應平面坐標(xi，yi)；

根據所述輸入輪廓和模型輪廓在長、寬上的變化比例，變換所述3D初始模型中任一關鍵點pi的空間坐標zi；

基于所述平面坐標和所述空間坐標，確定3D骨骼模型的最終形狀；

獲取所述紋理貼圖的邊緣部分及所述邊緣部分在所述3D骨骼模型中三角面片上的深度值；

當所述深度值是否大于預設閾值時，利用預設的網絡對所述邊緣部分邊緣紋理進行預測，形成邊緣預測紋理貼圖；

基于所述邊緣預測紋理貼圖，形成所述目標對象的3D重建模型。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述紋理貼圖的邊緣部分及所述邊緣部分在所述3D骨骼模型中三角面片上的深度值，包括：

獲取所述邊緣部分在所述3D骨骼模型中三角面片Z軸上的值；

將所述Z軸上的值作為所述深度值。

3.根據權利要求1所述的方法，其特征在于，所述基于所述邊緣預測紋理貼圖，形成所述目標對象的3D重建模型，包括：

獲取目標對象的正面紋理貼圖、遮擋紋理貼圖及邊緣預測紋理貼圖；

將正面紋理貼圖、遮擋紋理貼圖及邊緣預測紋理貼圖按照預設的規則匹配到所述3D骨骼模型的三角面片上，形成所述3D重建模型。

4.根據權利要求3所述的方法，其特征在于，所述獲取目標對象的正面紋理貼圖、遮擋紋理貼圖及邊緣預測紋理貼圖，包括：

對所述輸入圖像進行梯度計算；

選取梯度計算結果大于預設值的像素點，形成所述目標對象的邊緣；

基于所述目標對象的邊緣，形成所述目標對象的分割掩碼；

獲取所述分割掩碼區域在所述輸入圖像上的區域表示；

將所述區域表示內的像素集合作為所述輸入圖像的正面紋理貼圖。

5.根據權利要求4所述的方法，其特征在于，所述獲取目標對象的正面紋理貼圖、遮擋紋理貼圖及邊緣預測紋理貼圖，還包括：

獲取所述3D骨骼模型被遮擋部分的區域表示；

將所述區域表示及所述輸入圖像輸入到預測網絡中；

利用預測網絡預測所述區域表示內的圖像，形成遮擋紋理貼圖。

6.根據權利要求3所述的方法，其特征在于，所述將正面紋理貼圖、遮擋紋理貼圖及邊緣預測紋理貼圖按照預設的規則匹配到所述3D骨骼模型的三角面片上，形成所述3D重建模型，包括：

確認3D空間坐標系下的攝像機坐標，使得在所述攝像機坐標下，所述3D骨骼模型在顯像畫面上的投影所形成的輪廓與所述輸入輪廓完全重合；

確定組成所述3D骨骼模型的任一個三角面片的三個頂點在所述輸入輪廓對應原圖上的3個2D對應點；

利用所述對應點、正面紋理貼圖、遮擋紋理貼圖及邊緣預測紋理貼圖，確定貼圖面片；

將所述貼圖面片作為其所對應的3D三角面片的貼圖，將所述輸入圖像上的貼圖面片貼在所述3D三角面片上；

將包含貼圖面片的3D骨骼模型作為所述目標對象的第一3D重建模型。