[發明專利]基于較優視圖和深度卷積神經網絡的三維模型檢索方法

有效

• 申請號: 201711178604.5
• 申請日: 2017-11-23
• 公開（公告）號: CN108009222B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 劉志;李江川;陳波
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04;G06K9/46
• 代理公司: 杭州之江專利事務所(普通合伙) 33216
• 代理人: 張慧英

1.基于較優視圖和深度卷積神經網絡的三維模型檢索方法，其特征在于，包括如下步驟：

(1)預定義初始視點的坐標，通過從多個不同角度、等距的方式對三維模型渲染出二維視圖；

(2)在三維模型數據集中，根據每個類別下的模型數量占模型總數的比例，來確定該類別下模型最終保留的較優視圖數量，并對每個模型保留的較優視圖計算灰度熵，用熵過濾機制去除較差視圖，得到較優視圖集，并選取部分視圖組成訓練集，其余部分視圖組成驗證集；

(3)在VGG16神經網絡結構內的卷積模塊的基礎上構建一個由3個卷積層和2個全連接層構成的卷積神經網絡，基于較優視圖集中的訓練集進行充分訓練后，利用該網絡對較優視圖集中的驗證集提取深度特征，并通過PCA對提取到的深度特征進行降維；

(4)檢索時選取自然圖像進行邊緣檢測獲得輪廓線條圖，通過卷積神經網絡進行特征提取，通過計算輸入圖像的特征與較優視圖集提取的特征之間的歐幾里德距離，并進行相似度匹配，獲取初始檢索結果列表；

(5)依據初始檢索結果列表中模型所屬分類下模型數量與列表長度的比例調整最終相似度，并以此對檢索結果列表的次序進行重排，得到最終的檢索結果。

2.根據權利要求1所述的基于較優視圖和深度卷積神經網絡的三維模型檢索方法，其特征在于：所述步驟(1)渲染的方法為采用以三維模型的質心為球心的、包含多個視點的視點球對三維模型進行包裹，采用閉合輪廓線結合暗示輪廓的渲染方法對三維模型進行渲染。

3.根據權利要求1所述的基于較優視圖和深度卷積神經網絡的三維模型檢索方法，其特征在于：所述步驟(2)的熵過濾機制為采用灰度熵排序判斷視圖質量，并根據每個類別下模型的數量與模型總量的比值，來確定該類別下模型的較優視圖數量的選取；具體為：

1)在視圖數量的選擇上，通過如下公式計算出每個分類下模型提取視圖的數量n：

其中，N代表視點數量，n代表該類別下模型最終的視圖數量，ci代表i類別下模型的數量，a是固定常數，用于控制視圖數量，t代表數據集中模型的類別總數；

2)在視圖質量的判定上，采用如下公式對每張視圖的灰度熵進行計算，并按照熵的大小進行排序，保留熵最大的前n張視圖作為該模型的較優視圖：

其中，pi表示灰度值為i的像素在整個視圖中所占的比例，H代表灰度熵。

4.根據權利要求1所述的基于較優視圖和深度卷積神經網絡的三維模型檢索方法，其特征在于：所述步驟(3)在構建卷積神經網絡時，需對卷積結果進行最大池化操作后傳輸給全鏈接層；在誤差反向傳播階段，對實際輸出與理想輸出之間的誤差進行計算，使用隨機梯度下降法對累計誤差進行最小化。

5.根據權利要求4所述的基于較優視圖和深度卷積神經網絡的三維模型檢索方法，其特征在于：所述的卷積神經網絡使用ELU作為激活函數，在卷積模塊中卷積核的設置上，選擇了1*1,3*3,1*1相交替的模式；在卷積層的最后設置有一層2*2的池化層；在全連接層的設計上，使用1024維的全連接層搭配與模型類別總數一致的最后一層全連接層作為全連接模塊。

6.根據權利要求1所述的基于較優視圖和深度卷積神經網絡的三維模型檢索方法，其特征在于：所述步驟(5)中對檢索列表重排的方法如下：

(5.1)獲取與輸入源相似度最高的二維視圖候選列表Lo及其相似度，對每個三維模型保留相似度最高的一張視圖，并將其與所屬的三維模型一一對應，得到三維模型的候選列表L；

(5.2)對候選列表L中的三維模型的視圖在視圖候選列表Lo中出現的次數進行統計，計算公式如下：

(5.3)原有相似度Score0經過步驟(5.2)計算后得到Score1，統計出L中每個模型所屬的類別，并計算出每個模型所屬分類存在于數據集中的模型的數量占模型總數的比例，提高占比高的模型的最終相似度，并以此相似度對檢索結果列表的次序進行重排。