[發(fā)明專(zhuān)利]一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111510170.0
• 申請(qǐng)日: 2021-12-10
• 公開(kāi)（公告）號(hào): CN114255328A
• 公開(kāi)（公告）日: 2022-03-29
• 發(fā)明（設(shè)計(jì)）人: 李紅波;葉成慶;楊杰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶郵電大學(xué)
• 主分類(lèi)號(hào): G06T17/20
• 分類(lèi)號(hào): G06T17/20;G06N3/04;G06K9/62;G06F30/27;G06V10/774;G06V10/82
• 代理公司: 成都行之專(zhuān)利代理事務(wù)所(普通合伙) 51220
• 代理人: 張楊

1.一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法，其特征在于，包括如下步驟：

步驟1：輸入古文物及與所述古文物相似工藝品的數(shù)據(jù)集，所述數(shù)據(jù)集包括古文物及與所述古文物相似工藝品的多角度的多視圖圖片以及訓(xùn)練用體素模型；

步驟2：根據(jù)“編碼器-解碼器”的網(wǎng)絡(luò)結(jié)構(gòu)，使用帶有3D-ResVGG網(wǎng)絡(luò)和多路徑通道注意力模塊的編碼器對(duì)所述數(shù)據(jù)集進(jìn)行深度信息挖掘和特征提取，生成古文物三維網(wǎng)絡(luò)模型；

步驟3：通過(guò)智能AI工具將需要進(jìn)行三維重建的古文物圖片進(jìn)行預(yù)處理，生成預(yù)設(shè)類(lèi)型圖片；

步驟4：將作為單視圖的所述預(yù)設(shè)類(lèi)型圖片輸入到所述古文物三維網(wǎng)絡(luò)模型中，生成完整的需要進(jìn)行三維重建的古文物圖片的古文物三維模型。

2.根據(jù)權(quán)利要求1所述的一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法，其特征在于，步驟2中，所述古文物三維網(wǎng)絡(luò)模型包括編碼器、迭代卷積模塊和解碼器，所述編碼器由殘差網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合多路徑通道注意力模塊以及3D-ResVGG網(wǎng)絡(luò)組成，所述迭代卷積模塊由一組迭代卷積單元組成，所述迭代卷積單元在空間上分布在三維網(wǎng)格結(jié)構(gòu)中，每個(gè)所述迭代卷積單元負(fù)責(zé)重建最終輸出的體素概率結(jié)果。

3.根據(jù)權(quán)利要求1所述的一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法，其特征在于，所述3D-ResVGG網(wǎng)絡(luò)為在ResNet網(wǎng)絡(luò)的向前傳播部分添加了兩組1*1卷積，并結(jié)合ResNet殘差模塊和VGG網(wǎng)絡(luò)架構(gòu)得到。

4.根據(jù)權(quán)利要求3所述的一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法，其特征在于，所述多路徑通道注意力模塊的作用為：使用所述多路徑通道注意力模塊，在3D-ResVGG網(wǎng)絡(luò)進(jìn)行特征提取的過(guò)程中進(jìn)行分組卷積，以多路徑多組卷積核的形式對(duì)數(shù)據(jù)信息進(jìn)行深度挖掘，獲取數(shù)據(jù)的深度信息。

5.根據(jù)權(quán)利要求4所述的一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法，其特征在于，步驟2中的編碼器對(duì)所述數(shù)據(jù)集進(jìn)行深度信息挖掘和特征提取的具體步驟為：

步驟2.1、所述3D-ResVGG網(wǎng)絡(luò)接收數(shù)據(jù)集并對(duì)所述數(shù)據(jù)集進(jìn)行特征提取生成特征圖；

步驟2.2、所述多路徑通道注意力模塊對(duì)由所述3D-ResVGG網(wǎng)絡(luò)生成的特征圖進(jìn)行分組提取：根據(jù)特征圖的特點(diǎn)按卷積核將所述特征圖分為多組，選取適應(yīng)的若干組卷積核對(duì)所述特征圖進(jìn)行分組卷積；

步驟2.3、將卷積后的每組所述特征圖模擬殘差網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行一組1*1卷積，獲取對(duì)應(yīng)的若干組特征圖；

步驟2.4、將經(jīng)過(guò)步驟2.3的若干組特征圖進(jìn)行拼接組合，得到一個(gè)高尺度、高維度、信息量更為豐富的特征圖。

6.根據(jù)權(quán)利要求5所述的一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法，其特征在于，步驟2.2中，信息卷積核選取3組以對(duì)所述特征圖進(jìn)行分組卷積。

7.根據(jù)權(quán)利要求6所述的一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法，其特征在于，所述迭代卷積單元由長(zhǎng)短時(shí)卷積網(wǎng)絡(luò)構(gòu)成，所述長(zhǎng)短時(shí)卷積網(wǎng)絡(luò)根據(jù)輸入的特征圖的具體格式選取具體的卷積單元數(shù)量，從三維的角度對(duì)通過(guò)編碼器提取出的特征圖進(jìn)行迭代卷積，以分類(lèi)網(wǎng)絡(luò)的形式獲取特征圖中每一處卷積的體素概率結(jié)果并收集保留成一組三維概率信息。

8.根據(jù)權(quán)利要求7所述的一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法，其特征在于，步驟2中，所述迭代卷積單元對(duì)輸入的多組所述特征圖進(jìn)行卷積運(yùn)算的具體過(guò)程為：所述迭代卷積單元對(duì)多組多角度的所述特征圖進(jìn)行迭代卷積運(yùn)算以循環(huán)提取所述特征圖的信息，對(duì)該迭代卷積單元涉及的體素概率進(jìn)行動(dòng)態(tài)更新，并最終結(jié)合所有迭代卷積單元的體素概率數(shù)據(jù)合成一組三維體素概率模型。

9.根據(jù)權(quán)利要求8所述的一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法，其特征在于，在所述迭代卷積模塊中，所述迭代卷積單元的具體結(jié)構(gòu)由所述特征圖的分辨率決定，X*X*X的迭代卷積單元用于處理X分辨率的特征圖的數(shù)據(jù)。

10.根據(jù)權(quán)利要求1-9任一所述的一種基于單視圖與深度學(xué)習(xí)的古文物三維重建方法，其特征在于，通過(guò)損失函數(shù)來(lái)驗(yàn)證所述古文物三維網(wǎng)絡(luò)模型是否可靠，所述損失函數(shù)為在交叉熵函數(shù)改進(jìn)后的特征正則化softmax函數(shù)。