[發(fā)明專利]一種基于多模態(tài)融合的三維模型檢索方法

在審

• 申請?zhí)枺?/td>: 202011292371.3
• 申請日: 2020-11-18
• 公開（公告）號: CN112270762A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計）人: 褚晶輝;鄭博文;聶為之
• 申請（專利權(quán)）人: 天津大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務(wù)所 12201
• 代理人: 李林娟

1.一種基于多模態(tài)融合的三維模型檢索方法，其特征在于，所述方法包括：

1)對旋轉(zhuǎn)后的三維模型使用蝴蝶細分算法進行表面細分，并從三維模型中提取出點云數(shù)據(jù)；

2)對旋轉(zhuǎn)后的三維模型使用OpenGL工具，以30度角間隔對三維模型進行12個視角的視圖渲染，獲得12張多視圖圖像；

3)對旋轉(zhuǎn)后的三維模型從xyz三個坐標軸方向上將三維模型投影到一個圓柱體表面，在每個坐標軸上分別獲取4張全景視圖，分別是三維模型空間分布圖像、三維模型法線偏差圖像、法線偏差圖的梯度信息圖像、上述三通道的堆疊圖像，最后共可獲得12張全景視圖圖像；

4)將點云數(shù)據(jù)輸入PointNet網(wǎng)絡(luò)，將12張多視圖圖像輸入MVCNN訓練網(wǎng)絡(luò)，將12張全景視圖圖像輸入另一個MVCNN預(yù)訓練網(wǎng)絡(luò)；

5)使用加入了關(guān)聯(lián)損失和實例損失的損失函數(shù)對三個網(wǎng)絡(luò)進行聯(lián)合訓練；

6)將訓練好的三個網(wǎng)絡(luò)的輸出特征向量進行統(tǒng)計加權(quán)融合，使用融合后的特征向量作為三維模型的最終特征向量，以用于后續(xù)的三維模型檢索中。

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)融合的三維模型檢索方法，其特征在于，所述方法在步驟1)之前還包括：獲取旋轉(zhuǎn)后的三維模型的步驟，具體為：

給定一個三維模型，計算它的質(zhì)心并進行平移，使得質(zhì)心與坐標原點重合；

對處理后的三維模型計算協(xié)方差矩陣，通過矩陣特征分解獲得一組特征向量和特征值，對特征值進行降序排序并選擇前三個特征向量作為新的主軸方向，獲得一個旋轉(zhuǎn)矩陣，通過旋轉(zhuǎn)矩陣對三維模型進行旋轉(zhuǎn)。

3.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)融合的三維模型檢索方法，其特征在于，所述步驟5)具體為：

將點云數(shù)據(jù)輸入到PointNet網(wǎng)絡(luò)中，將多視圖模態(tài)數(shù)據(jù)、全景視圖模態(tài)數(shù)據(jù)分別輸入到不同的MVCNN深度網(wǎng)絡(luò)中；

使用改造后的損失函數(shù)對網(wǎng)絡(luò)進行聯(lián)合訓練，其中改造后的損失函數(shù)由判別損失、關(guān)聯(lián)損失、實例損失三部分構(gòu)成；

其中，代表模態(tài)M₁的判別損失，和分別代表M₁與模態(tài)M₂和M₃的關(guān)聯(lián)損失，代表實例損失。

4.根據(jù)權(quán)利要求3所述的一種基于多模態(tài)融合的三維模型檢索方法，其特征在于，所述關(guān)聯(lián)損失具體為：

其中，f表示不同模態(tài)的特征向量，M表示模態(tài)，不同的下標表示不同的模態(tài)，ξ＝sigmoid(log(abs(.))，ξ用于歸一化特征向量，sigmoid函數(shù)為機器學習的神經(jīng)元激勵函數(shù)，abs(.)表示求絕對值。

5.根據(jù)權(quán)利要求3所述的一種基于多模態(tài)融合的三維模型檢索方法，其特征在于，所述實例損失具體為：

其中，

為特征向量分類為模型x_i的概率，α＝1，2，3。

6.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)融合的三維模型檢索方法，其特征在于，所述將訓練好的三個網(wǎng)絡(luò)的輸出特征向量進行統(tǒng)計加權(quán)融合具體為：

其中，γ_i代表不同模態(tài)的權(quán)重，為對應(yīng)模態(tài)下的特征向量，不同的下標i表示來自同一個三維模型的不同模態(tài)。