[發(fā)明專利]一種特征金字塔多視圖三維重建方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110707399.7
• 申請日: 2021-06-24
• 公開（公告）號: CN113345082B
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 柏正堯;李俊杰
• 申請（專利權(quán)）人: 云南大學(xué)
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 王愛濤

1.一種特征金字塔多視圖三維重建方法，其特征在于，包括：

獲取圖像數(shù)據(jù)；所述圖像數(shù)據(jù)包括：參考圖像和多張?jiān)磮D像；

獲取多視圖三維重建網(wǎng)絡(luò)模型；所述多視圖三維重建網(wǎng)絡(luò)模型為融合有相機(jī)參數(shù)的深度神經(jīng)網(wǎng)絡(luò)模型；所述深度神經(jīng)網(wǎng)絡(luò)模型包括基于自注意力機(jī)制的特征金字塔網(wǎng)絡(luò)；

采用所述多視圖三維重建網(wǎng)絡(luò)模型，以所述圖像數(shù)據(jù)為輸入得到預(yù)測深度圖；

根據(jù)所述預(yù)測深度圖生成3D點(diǎn)云數(shù)據(jù)；

對所述3D點(diǎn)云數(shù)據(jù)進(jìn)行可視化處理得到重建的三維視圖；

所述采用所述多視圖三維重建網(wǎng)絡(luò)模型，以所述圖像數(shù)據(jù)為輸入得到預(yù)測深度圖，具體包括：

采用所述基于自注意力機(jī)制的特征金字塔網(wǎng)絡(luò)對所述圖像數(shù)據(jù)進(jìn)行特征提取，得到不同分辨率的特征圖；所述特征圖包括參考圖像特征圖和源圖像特征圖；

采用分組相關(guān)法根據(jù)提取的特征構(gòu)建代價(jià)體；

使用所述代價(jià)體和softmax回歸生成概率體；

根據(jù)所述概率體預(yù)測得到初始深度圖；

對所述初始深度圖進(jìn)行上采樣得到所述預(yù)測深度圖；

所述采用分組相關(guān)法根據(jù)提取的特征構(gòu)建代價(jià)體，具體包括：

將所述參考圖像特征圖中的特征通道和所述源圖像特征圖中的特征通道按通道維度均勻劃分為多個特征組；

確定每一所述特征組中所述參考圖像的特征和源圖像的特征間的相似性，將參考圖像與每一源圖像之間的相似度壓縮為一個初始代價(jià)體；

根據(jù)所述初始代價(jià)體構(gòu)建所述代價(jià)體；所述代價(jià)體為所有所述初始代價(jià)體的平均值。

2.根據(jù)權(quán)利要求1所述的特征金字塔多視圖三維重建方法，其特征在于，所述根據(jù)所述預(yù)測深度圖生成3D點(diǎn)云數(shù)據(jù)，具體包括：

采用光度濾波、幾何一致性濾波和深度融合的處理方法，將所述預(yù)測深度圖進(jìn)行融合后生成3D點(diǎn)云數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的特征金字塔多視圖三維重建方法，其特征在于，所述獲取圖像數(shù)據(jù)，之前還包括：

獲取圖像數(shù)據(jù)集；所述圖像數(shù)據(jù)集包括DTU基準(zhǔn)數(shù)據(jù)集和Tanks and Temples基準(zhǔn)數(shù)據(jù)集。

4.一種特征金字塔多視圖三維重建系統(tǒng)，其特征在于，包括：

圖像數(shù)據(jù)獲取模塊，用于獲取圖像數(shù)據(jù)；所述圖像數(shù)據(jù)包括：參考圖像和多張?jiān)磮D像；

多視圖三維重建網(wǎng)絡(luò)模型獲取模塊，用于獲取多視圖三維重建網(wǎng)絡(luò)模型；所述多視圖三維重建網(wǎng)絡(luò)模型為融合有相機(jī)參數(shù)的深度神經(jīng)網(wǎng)絡(luò)模型；所述深度神經(jīng)網(wǎng)絡(luò)模型包括基于自注意力機(jī)制的特征金字塔網(wǎng)絡(luò)；

預(yù)測深度圖確定模塊，用于采用所述多視圖三維重建網(wǎng)絡(luò)模型，以所述圖像數(shù)據(jù)為輸入得到預(yù)測深度圖；

3D點(diǎn)云數(shù)據(jù)生成模塊，用于根據(jù)所述預(yù)測深度圖生成3D點(diǎn)云數(shù)據(jù)；

三維視圖重建模塊，用于對所述3D點(diǎn)云數(shù)據(jù)進(jìn)行可視化處理得到重建的三維視圖；

所述預(yù)測深度圖確定模塊包括：

特征提取單元，用于采用所述基于自注意力機(jī)制的特征金字塔網(wǎng)絡(luò)對所述圖像數(shù)據(jù)進(jìn)行特征提取，得到不同分辨率的特征圖；所述特征圖包括參考圖像特征圖和源圖像特征圖；

代價(jià)體構(gòu)建單元，用于采用分組相關(guān)法根據(jù)提取的特征構(gòu)建代價(jià)體；

概率體生成單元，用于使用所述代價(jià)體和softmax回歸生成概率體；

初始深度圖預(yù)測單元，用于根據(jù)所述概率體預(yù)測得到初始深度圖；

上采樣單元，用于對所述初始深度圖進(jìn)行上采樣得到所述預(yù)測深度圖；

所述代價(jià)體構(gòu)建單元包括：

特征組劃分子單元，用于將所述參考圖像特征圖中的特征通道和所述源圖像特征圖中的特征通道按通道維度均勻劃分為多個特征組；

壓縮子單元，用于確定每一所述特征組中所述參考圖像的特征和源圖像的特征間的相似性，將參考圖像與每一源圖像之間的相似度壓縮為一個初始代價(jià)體；

代價(jià)體構(gòu)建子單元，用于根據(jù)所述初始代價(jià)體構(gòu)建所述代價(jià)體；所述代價(jià)體為所有所述初始代價(jià)體的平均值。

5.根據(jù)權(quán)利要求4所述的特征金字塔多視圖三維重建系統(tǒng)，其特征在于，所述3D點(diǎn)云數(shù)據(jù)生成模塊包括：

3D點(diǎn)云數(shù)據(jù)生成單元，用于采用光度濾波、幾何一致性濾波和深度融合的處理方法，將所述預(yù)測深度圖進(jìn)行融合后生成3D點(diǎn)云數(shù)據(jù)。

6.根據(jù)權(quán)利要求4所述的特征金字塔多視圖三維重建系統(tǒng)，其特征在于，還包括：

圖像數(shù)據(jù)集獲取模塊，用于獲取圖像數(shù)據(jù)集；所述圖像數(shù)據(jù)集包括DTU基準(zhǔn)數(shù)據(jù)集和Tanks and Temples基準(zhǔn)數(shù)據(jù)集。