[發(fā)明專利]一種基于GCN與拓撲修改的單圖像三維重建方法

有效

• 申請?zhí)枺?/td>: 202111120772.5
• 申請日: 2021-09-24
• 公開（公告）號: CN113808275B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計）人: 張小瑞;徐楓;孫偉;宋愛國;劉青山;付章杰;袁程勝
• 申請（專利權(quán)）人: 南京信息工程大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T19/20;G06N3/0455;G06N3/0464;G06N3/084
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 陸燁

本發(fā)明提供一種基于GCN與拓撲修改的單圖像三維重建方法，該方法具體包括如下步驟：輸入圖像至VGG?16編碼網(wǎng)絡(luò)，提取特定層的特征圖與圖像特征向量；預設(shè)初始球體網(wǎng)格；根據(jù)VGG?16編碼網(wǎng)絡(luò)提取的特定層的特征圖，為初始球體每個頂點賦予圖像感知特征，得到附帶圖像感知特征的球體網(wǎng)格；將該球體網(wǎng)格輸入網(wǎng)格形變網(wǎng)絡(luò)中，變更網(wǎng)格頂點位置，并得到初始三維模型；拓撲修改網(wǎng)絡(luò)對初始三維模型表面進行修剪，從而更新網(wǎng)格拓撲結(jié)構(gòu)；得到最終三維網(wǎng)格模型；本發(fā)明提高重建模型的質(zhì)量，同時減小變形計算。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺領(lǐng)域。

背景技術(shù)

得益于深度學習技術(shù)的最新進展，以及ShapeNet、Pix3D等大規(guī)模三維形狀數(shù)據(jù)集的發(fā)布，從單個圖像中重建常規(guī)物體的三維網(wǎng)格逐漸成為可能。基于圖像進行三維重建是根據(jù)單視圖或多視圖恢復三維信息的過程，其目的是得到與二維圖像匹配的三維模型。

在現(xiàn)有的基于深度學習的網(wǎng)格三維重建算法中，Pixel2Mesh是一個由粗到細的網(wǎng)絡(luò)架構(gòu)，通過圖解池層添加網(wǎng)格頂點，細化網(wǎng)格表面細節(jié)；Image2Mesh根據(jù)圖像特征，組合一個粗糙的拓撲圖結(jié)構(gòu)，再根據(jù)估計的形變使用網(wǎng)格自由變形FFD來恢復稠密的3D網(wǎng)格模型；TMNet提出了一種拓撲修改網(wǎng)絡(luò)，其特色在于能夠多階段地修剪網(wǎng)格的拓撲結(jié)構(gòu)。上述方法能夠較好地重建圖像中物體的表面細節(jié)，但也存在一定局限：由于初始網(wǎng)格頂點間有固定的連接關(guān)系，當前大多數(shù)方法僅在重建近似預定義模板的物體時表現(xiàn)良好，在重建復雜拓撲時會產(chǎn)生不必要的網(wǎng)格自交和連接，從而破壞表面細節(jié)；并且受預定義模板限制，無法靈活更新點與面的關(guān)系；打破原有的拓撲結(jié)構(gòu)則容易生成鋸齒邊界和不光滑表面，破壞重建的視覺效果。

發(fā)明內(nèi)容

發(fā)明目的：為了解決上述現(xiàn)有技術(shù)存在的問題，本發(fā)明提出一種基于GCN與拓撲修改的單圖像三維重建方法：利用VGG16提取的圖像特征，形變過程由圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)和二維圖像特征控制，并在形變過程中穿插拓撲修改模塊修剪三維網(wǎng)格結(jié)構(gòu)，使得網(wǎng)格拓撲多樣化，最后通過三維監(jiān)督和正則化方法優(yōu)化生成的三維表面細節(jié)。

技術(shù)方案：本發(fā)明提供了一種基于GCN與拓撲修改的單圖像三維重建方法，包括如下步驟：

步驟1：采用VGG-16編碼網(wǎng)絡(luò)提取圖像的特征，得到該圖像對應(yīng)的圖像特征向量，并提取VGG-16編碼網(wǎng)絡(luò)第7,10,13層提取的特征圖V7，V10，V13；

步驟2：預設(shè)初始球體網(wǎng)格；基于步驟1中的V7，V10，V13為初始球體網(wǎng)格的每個頂點賦予圖像感知特征，得到附帶圖像感知特征的球體網(wǎng)格；

步驟3：將步驟2中附帶圖像感知特征的球體網(wǎng)格輸入至網(wǎng)格形變網(wǎng)絡(luò)中，所述網(wǎng)格形變網(wǎng)絡(luò)變更球體網(wǎng)格的頂點位置；得到圖像中需要重建的物體的初始三維模型；

步驟4：將步驟3中的初始三維模型輸入至拓撲修改網(wǎng)絡(luò)中，該拓撲修改網(wǎng)絡(luò)對初始三維模型的表面進行修剪，從而更新初始三維模型的網(wǎng)格拓撲結(jié)構(gòu)；得到最終三維網(wǎng)格模型。

進一步的，所述步驟2為初始球體網(wǎng)格的每個頂點賦予圖像感知特征的方法具體為：計算初始球體網(wǎng)格中頂點p在圖像中的投影點，其中p為該網(wǎng)格中任一頂點；利用雙線性差值法尋找出該投影點在特征圖V7，V10和V13中的對應(yīng)點V_p,7，V_p,10以及V_p,13，并將V_p,7周圍的像素點的特征進行融合,將融合后的特征作為點V_p,7的特征，將V_p,10周圍的像素點的特征進行融合,將融合后的特征作為點V_p,10的特征，將V_p,13周圍的像素點的特征進行融合,將融合后的特征作為點V_p,13的特征；將點V_p,7,V_p,10以及V_p,13的特征進行拼接，得到頂點p的圖像感知特征；對初始球體網(wǎng)格中所有的頂點按照該方法計算得到附帶圖像感知特征的球體網(wǎng)格。