[發(fā)明專利]基于多視圖的物體3D形狀重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110065500.3
• 申請(qǐng)日: 2021-01-18
• 公開（公告）號(hào): CN112862949B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計(jì)）人: 童超;陳榮山
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06N3/04;G06N3/08
• 代理公司: 北京卓特專利代理事務(wù)所(普通合伙) 11572
• 代理人: 田冰;陳變花

1.一種基于多視圖的物體3D形狀重建方法，包括以下步驟：

步驟一、數(shù)據(jù)準(zhǔn)備

獲取ShapeNet數(shù)據(jù)集中的一個(gè)或多個(gè)3D網(wǎng)格模型，按設(shè)置閾值在其表面進(jìn)行點(diǎn)采樣，構(gòu)建同獲取的3D網(wǎng)格模型對(duì)應(yīng)的3D點(diǎn)云數(shù)據(jù)，其中獲取的3D網(wǎng)格模型還包括對(duì)應(yīng)的樣本圖像；

獲取橢球網(wǎng)格模型作為形變模板，該橢球網(wǎng)格模型包括橢球體，該橢球體包含156個(gè)頂點(diǎn)，308個(gè)三角形面；該橢球體的參數(shù)包括放置于距相機(jī)正前方0.8m處，以此位置為圓心，該橢球體的三軸半徑分別為0.2m、0.2m、0.4m；

步驟二、對(duì)特征提取網(wǎng)絡(luò)和模板形變網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練

將步驟一的3D點(diǎn)云數(shù)據(jù)、同3D點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的樣本圖像及所述相機(jī)的參數(shù)送入3D形狀重建網(wǎng)絡(luò)中進(jìn)行訓(xùn)練；其中3D點(diǎn)云數(shù)據(jù)用于計(jì)算損失函數(shù)；

所述3D形狀重建網(wǎng)絡(luò)包括：特征提取模塊與模板形變模塊；所述特征提取模塊包括18個(gè)卷積層與convLSTM層；

所述步驟二中，將所述樣本圖像輸入所述特征提取模塊的18個(gè)卷積層，從第8、11、14與18卷積層提取特征輸出；所述ConvLSTM層將從第8、11、14與18卷積層提取的特征輸出融合為融合像素特征圖Img；

所述模板形變模塊包括：7個(gè)形變模塊、5個(gè)graph unpooling模塊、2個(gè)graph pooling模塊以及7個(gè)投影模塊；

所述步驟二中，第一投影模塊根據(jù)所述形變模板、所述相機(jī)參數(shù)與所述特征提取模塊輸出的第一樣本圖像的融合像素特征圖Img₁得到156＊963維度的頂點(diǎn)特征P₁，第一形變模塊利用該頂點(diǎn)特征P₁生成第一個(gè)具有156個(gè)頂點(diǎn)的3D形狀M₁；第二投影模塊依據(jù)3D形狀M₁、所述相機(jī)參數(shù)與所述第一樣本圖像的融合像素特征圖Img₁再次進(jìn)行投影得到新的156＊963維度的頂點(diǎn)特征P₂，之后利用Graph unpooling模塊在該頂點(diǎn)特征P₂上增加頂點(diǎn)數(shù)量得到628＊963的頂點(diǎn)特征P₃，第二形變模塊利用該頂點(diǎn)特征P₃生成第二個(gè)具有628個(gè)頂點(diǎn)的3D形狀M₂；第三投影模塊依據(jù)3D形狀M₂、所述相機(jī)參數(shù)與所述第一樣本圖像的融合像素特征圖Img₁再次進(jìn)行投影得到新的628＊963維度的頂點(diǎn)特征P₄，之后利用Graph unpooling模塊在該頂點(diǎn)特征P₄上增加頂點(diǎn)數(shù)量得到2466＊963的頂點(diǎn)特征P₅，第三形變模塊利用該特征生成第三個(gè)具有2466個(gè)頂點(diǎn)的3D形狀M₃；第四投影模塊依據(jù)3D形狀M₃、所述相機(jī)參數(shù)與所述特征提取模塊輸出的第二樣本圖像的融合像素特征圖Img₂再次進(jìn)行投影得到新的2466＊963維度的頂點(diǎn)特征P₆，之后利用Graph pooling模塊在該頂點(diǎn)特征P₆上縮減頂點(diǎn)數(shù)量得到628＊963的頂點(diǎn)特征P₇，第四形變模塊利用該頂點(diǎn)特征P₇生成第四個(gè)具有628個(gè)頂點(diǎn)的3D形狀M₄；第五投影模塊依據(jù)3D形狀M₄、所述相機(jī)參數(shù)與所述第二樣本圖像的融合像素特征圖Img₂再次進(jìn)行投影得到新的628＊963維度的頂點(diǎn)特征P₈，之后利用Graph unpooling模塊在該頂點(diǎn)特征P₈上增加頂點(diǎn)數(shù)量得到2466＊963的頂點(diǎn)特征P₉，第五形變模塊利用該頂點(diǎn)特征P₉生成第五個(gè)具有2466個(gè)頂點(diǎn)的3D形狀M₅；第六投影模塊依據(jù)3D形狀M₅、所述相機(jī)參數(shù)與所述特征提取模塊輸出的第三樣本圖像的融合像素特征圖Img₃再次進(jìn)行投影得到新的2466＊963維度的頂點(diǎn)特征P₁₀，之后利用Graph pooling模塊在該頂點(diǎn)特征P₁₀上縮減頂點(diǎn)數(shù)量得到628＊963的頂點(diǎn)特征P₁₁，第六形變模塊利用該頂點(diǎn)特征P₁₁生成第六個(gè)具有628個(gè)頂點(diǎn)的3D形狀M₆；第七投影模塊依據(jù)3D形狀M₆、所述相機(jī)參數(shù)與所述第三樣本圖像的融合像素特征圖Img₃再次進(jìn)行投影得到新的628＊963維度的頂點(diǎn)特征P₁₂，之后利用Graph unpooling模塊在該頂點(diǎn)特征P₁₂上增加頂點(diǎn)數(shù)量得到2466＊963的頂點(diǎn)特征P₁₃，第七形變模塊利用該頂點(diǎn)特征P₁₃生成第七個(gè)具有2466個(gè)頂點(diǎn)的3D形狀M₇，并將3D形狀M₇作為最終結(jié)果輸出；

所述步驟二還包括：將第一、二、三、四、五、六、七形變模塊輸出的3D形狀，分別與步驟一獲取的3D點(diǎn)云數(shù)據(jù)計(jì)算CD損失、Normal損失、Laplacian損失、edgelength損失，用于監(jiān)督所述3D形狀重建網(wǎng)絡(luò)的訓(xùn)練；以及，將第三、五、七形變模塊輸出的3D形狀還計(jì)算Smooth損失，用于約束其生成的2466個(gè)頂點(diǎn)3D形狀的表面光滑度；

所述第七形變模塊的輸出作為所述3D形狀重建網(wǎng)絡(luò)輸出的物體3D形狀；

步驟三，用訓(xùn)練好的所述3D形狀重建網(wǎng)絡(luò)重建物體3D形狀。