[發明專利]一種基于GCN與拓撲修改的單圖像三維重建方法

有效

• 申請號: 202111120772.5
• 申請日: 2021-09-24
• 公開（公告）號: CN113808275B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 張小瑞;徐楓;孫偉;宋愛國;劉青山;付章杰;袁程勝
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T19/20;G06N3/0455;G06N3/0464;G06N3/084
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 陸燁

1.一種基于GCN與拓撲修改的單圖像三維重建方法，其特征在于，包括如下步驟：

步驟1：采用VGG-16編碼網絡提取圖像的特征，得到該圖像對應的圖像特征向量，并提取VGG-16編碼網絡第7,10,13層提取的特征圖V7，V10，V13；

步驟2：預設初始球體網格；基于步驟1中的V7，V10，V13為初始球體網格的每個頂點賦予圖像感知特征，得到附帶圖像感知特征的球體網格；

步驟3：將步驟2中附帶圖像感知特征的球體網格輸入至網格形變網絡中，所述網格形變網絡變更球體網格的頂點位置；得到圖像中需要重建的物體的初始三維模型；

步驟4：將步驟3中的初始三維模型輸入至拓撲修改網絡中，該拓撲修改網絡對初始三維模型的表面進行修剪，從而更新初始三維模型的網格拓撲結構；得到最終三維網格模型。

2.根據權利要求1所述的一種基于GCN與拓撲修改的單圖像三維重建方法，其特征在于，所述步驟2為初始球體網格的每個頂點賦予圖像感知特征的方法具體為：計算初始球體網格中頂點p在圖像中的投影點，其中p為該網格中任一頂點；利用雙線性差值法尋找出該投影點在特征圖V7，V10和V13中的對應點V_p,7，V_p,10以及V_p,13，并將V_p,7周圍的像素點的特征進行融合,將融合后的特征作為點V_p,7的特征，將V_p,10周圍的像素點的特征進行融合,將融合后的特征作為點V_p,10的特征，將V_p,13周圍的像素點的特征進行融合,將融合后的特征作為點V_p,13的特征；將點V_p,7,V_p,10以及V_p,13的特征進行拼接，得到頂點p的圖像感知特征；對初始球體網格中所有的頂點按照該方法計算得到附帶圖像感知特征的球體網格。

3.根據權利要求1所述的一種基于GCN與拓撲修改的單圖像三維重建方法，其特征在于，所述步驟3中網格形變網絡采用圖殘差網絡G-ResNet；在圖殘差網絡G-ResNet中輸入附帶圖像感知特征的球體網格的特征向量，所述特征向量包括圖像感知特征、網格頂點坐標和頂點形狀特征；G-ResNet輸出變更后的頂點的特征向量；所述G-ResNet中每一層的卷積運算如下所示：

是頂點p在卷積操作后的特征向量；l表示圖殘差網絡G-ResNet中第l層圖卷積層；w₀和w₁是圖殘差網絡G-ResNet應用于所有頂點的學習參數矩陣，w₀用于調整當前頂點p，w₁用于調整當前頂點p的相鄰頂點q；是頂點p在進行卷積操作前的特征向量；N(p)是與頂點p相鄰的頂點的集合；為附加在頂點q上的特征向量。

4.根據權利要求1所述的一種基于GCN與拓撲修改的單圖像三維重建方法，其特征在于，所述步驟4中具體為：所述拓撲修改網包括多層感知器MLP，所述拓撲修改網絡對初始三維模型的所有三角形表面進行采樣點的隨機采樣；將采樣點的坐標組成坐標矩陣；將該坐標矩陣融合VGG-16編碼網絡輸出的圖像特征向量，構成特征矩陣；將特征矩陣輸入至多層感知器MLP中，所述多層感知器MLP包括依次連接的第一全連接層，第一非線性激活函數ReLu，第二全連接層，第二非線性激活函數ReLu，第三全連接層，第三非線性激活函數ReLu，第四全連接層和第四非線性激活函數tanh；多層感知器MLP輸出每個采樣點與該采樣點對應的地面真實網格頂點之間的距離誤差，并計算每個三角形表面上所有采樣點誤差值的均值，將該均值作為對應三角形表面的誤差值；拓撲修改網絡中預設有誤差閾值τ，拓撲修改網絡刪除誤差值大于等于τ的三角形表面，從而更新網格拓撲結構。

5.根據權利要1所述的一種基于GCN與拓撲修改的單圖像三維重建方法，其特征在于，對網格形變網絡和拓撲修改網絡進行訓練均采用三維監督方法；網格形變網絡和拓撲修改網絡的損失函數的表達式相同如下所示：

其中，代表總損失，為倒角損失，為搬土損失，為拉普拉斯正則化，為邊長正則化，為邊界正則化；λ₁、λ₂、λ₃和λ₄均為預設的權重參數；當對網格形變網絡訓練時，λ₂＞λ₄且λ₃＞λ₄；當對拓撲修改網絡訓練時，λ₄＞λ₂且λ₄＞λ₃。