[發(fā)明專利]基于較優(yōu)視圖和深度卷積神經(jīng)網(wǎng)絡(luò)的三維模型檢索方法

有效

• 申請?zhí)枺?/td>: 201711178604.5
• 申請日: 2017-11-23
• 公開（公告）號: CN108009222B
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計）人: 劉志;李江川;陳波
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04;G06K9/46
• 代理公司: 杭州之江專利事務(wù)所(普通合伙) 33216
• 代理人: 張慧英

本發(fā)明涉及基于較優(yōu)視圖和深度卷積神經(jīng)網(wǎng)絡(luò)的三維模型檢索方法，本發(fā)明首先從多個視點提取三維模型的視圖，并按照灰度熵的排序選取較優(yōu)視圖。其次通過深度卷積神經(jīng)網(wǎng)絡(luò)對視圖集進行訓(xùn)練，從而提取視圖的深度特征并進行降維。同時，對輸入的自然圖像提取邊緣輪廓圖，經(jīng)過相似度匹配返回一組三維模型。最后，基于目標(biāo)模型所屬類別占檢索結(jié)果比例對結(jié)果列表進行微調(diào)重排，返回最終的檢索結(jié)果以實現(xiàn)三維模型檢索，此方法有效選取了較優(yōu)視圖，降低了視圖冗余，并使用深度特征對視圖進行更高層的表達，有效提高了檢索效果。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機圖形領(lǐng)域，尤其涉及基于較優(yōu)視圖和深度卷積神經(jīng)網(wǎng)絡(luò)的三維模型檢索方法。

背景技術(shù)

隨著計算機圖形處理能力和三維建模技術(shù)的日益增強，三維模型在工業(yè)設(shè)計、虛擬現(xiàn)實、醫(yī)學(xué)診斷等諸多領(lǐng)域得到了廣泛應(yīng)用，三維模型的數(shù)量也隨之產(chǎn)生了爆發(fā)式的增長。海量的數(shù)據(jù)為三維模型檢索技術(shù)的發(fā)展帶來了新的機遇與挑戰(zhàn)。

在基于視圖的三維模型檢索領(lǐng)域，常用的研究思路是將三維模型渲染出多個二維視圖，對視圖進行人工設(shè)計特征的提取，再將輸入源圖像的特征與視圖特征進行相似度匹配，進而得到目標(biāo)模型。而這種檢索方法存在以下兩點問題：

(1)在已有的視圖選取方法中，通常研究者會選擇用一個多面體包圍三維模型，將多面體的頂點作為視圖選取的視點，提取與頂點數(shù)量一致的視圖，或使用網(wǎng)格顯著度、可見面積比、最大面積投影法等方法選取最優(yōu)視圖，但前者獲取到的視點質(zhì)量不一，后者對不同類別的模型的提取效果相差較大。

(2)在特征的選取上，通常使用的是基于先驗知識設(shè)計的特征，通過提取視圖的紋理、形狀等底層特征，構(gòu)造視圖特征集。其中視圖特征的表達效果會對檢索結(jié)果產(chǎn)生關(guān)鍵影響，而視圖高層語義與底層特征表示之間往往有著較大差距。

發(fā)明內(nèi)容

本發(fā)明為克服上述的不足之處，目的在于提供基于較優(yōu)視圖和深度卷積神經(jīng)網(wǎng)絡(luò)的三維模型檢索方法，本發(fā)明首先從多個視點提取三維模型的視圖，并按照灰度熵的排序選取較優(yōu)視圖，形成較優(yōu)視圖集，并選取部分視圖組成訓(xùn)練集，其余部分視圖組成驗證集。其次通過較優(yōu)視圖集中的訓(xùn)練集對深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，進而提取深度特征并進行降維。同時，對輸入的自然圖像提取邊緣輪廓圖，經(jīng)過相似度匹配返回一組三維模型。最后，基于目標(biāo)模型所屬類別占檢索結(jié)果比例對結(jié)果列表進行微調(diào)重排，返回最終的檢索結(jié)果以實現(xiàn)三維模型檢索，此方法有效選取了較優(yōu)視圖，降低了視圖冗余，并使用深度特征對視圖進行更高層的表達，有效提高了檢索效果。

本發(fā)明是通過以下技術(shù)方案達到上述目的：基于較優(yōu)視圖和深度卷積神經(jīng)網(wǎng)絡(luò)的三維模型檢索方法，包括如下步驟：

(1)預(yù)定義初始視點的坐標(biāo)，通過從多個不同角度、等距的方式對三維模型渲染出二維視圖；

(2)在三維模型數(shù)據(jù)集中，根據(jù)每個類別下的模型數(shù)量占模型總數(shù)的比例，來確定該類別下模型最終保留的較優(yōu)視圖數(shù)量，并對每個模型保留的較優(yōu)視圖計算灰度熵，用熵過濾機制去除較差視圖，得到較優(yōu)視圖集，并選取部分視圖組成訓(xùn)練集，其余部分視圖組成驗證集；

(3)在VGG16神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)的卷積模塊的基礎(chǔ)上構(gòu)建一個由3個卷積層和2個全連接層構(gòu)成的卷積神經(jīng)網(wǎng)絡(luò)，使用較優(yōu)視圖集中的訓(xùn)練集對該卷積神經(jīng)網(wǎng)絡(luò)進行充分訓(xùn)練后，對較優(yōu)視圖集中的驗證集提取深度特征，并通過PCA對提取到的深度特征進行降維；

(4)檢索時選取自然圖像進行邊緣檢測獲得輪廓線條圖，通過卷積神經(jīng)網(wǎng)絡(luò)進行特征提取，通過計算輸入圖像的特征與較優(yōu)視圖集提取的特征之間的歐幾里德距離，并進行相似度匹配，獲取初始檢索結(jié)果列表；

(5)依據(jù)初始檢索結(jié)果列表中模型所屬分類下模型數(shù)量與列表長度的比例調(diào)整匹配值，并以此對檢索結(jié)果列表的次序進行重排，得到最終的檢索結(jié)果。