[發明專利]基于全局特征捕捉聚合的多視角神經網絡的三維模型檢索方法

有效

• 申請號: 201910653415.1
• 申請日: 2019-07-19
• 公開（公告）號: CN110457515B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 高贊;李蔭民;張樺;徐光平;薛彥兵;王志崗
• 申請（專利權）人: 天津理工大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津佳盟知識產權代理有限公司 12002
• 代理人: 林玉慧

一種基于全局特征捕捉聚合的多視角神經網絡的三維模型檢索方法，實現了對多視角圖像間內在聯系的挖掘，同時實現了對多視角圖像的有效聚合，得到了擁有緊湊的高區分度的三維模型形狀特征描述符,具體包含以下步驟：(1)模型多視圖表示,(2)設計網絡模型,(3)生成最難樣本對,(4)訓練網絡模型,(5)提取深度特征,(6)進行模型檢索;本發明通過使用非局部思想挖掘多視圖網絡之間的聯系，同時通過加權局部聚合層將多視圖特征融合，從而得到一個高區分度且緊湊的三維模型描述符。

技術領域

本發明屬于計算機視覺及深度學習領域，發明基于全局特征捕捉聚合的多視角神經網絡的三維模型檢索方法來挖掘代表三維模型的多視角圖像之間的內在聯系，從而提高了三維模型檢索的性能。

背景技術

隨著計算機性能的大幅提高，在立體醫療，虛擬現實，三維游戲領域中產生了大量的三維模型，如何識別檢索三維模型成為當前計算機視覺領域中一個備受關注的研究方向。在三維模型檢索中的模型表示方法可以分為兩種類型：1)基于模型的表示方法，如基于網格或體素的離散表示，還有基于點云的表示方法。基于模型表示的特征設計大多是基于模型自身形狀以及其幾何性質，例如手工設計的三維直方圖，由表面曲率及法線構造的特征詞袋。2)基于多視角的表示方法，使用不同視角獲取的二維圖像來表示三維模型。基于二維圖像的表示方法也有多種手工設計特征，例如方向梯度直方圖，zernike矩和SIFT特征等。

但是傳統的手工設計特征在檢索性能上并不好，由于其由手工設計，從不同的設計算法得到的特征其側重的各有不同，不能全面的表示模型特征。隨著深度學習技術在計算機視覺領域的廣泛應用，如經典的AlexNet和GoogLeNet深度卷積神經網絡。數據通過神經網絡來自主學習擬合圖像特征，相比于手工設計特征，其可以學習到更為全面的特征，從而大幅提高圖像識別效果。在基于多視角的三維模型檢索中，每個三維模型都有多個視角圖像表示，但是現有的深度神經網絡主要用來識別單個圖像，其識別效果受限于信息的不全面性。如何聚合多視角圖像信息，如何捕獲模型的空間特征是提高三維模型檢索性能的關鍵。

聚合多視角信息以及捕獲模型空間特征不能簡單的對多視角圖像特征進行直接拼接，這種拼接有多種弊端，一是造成特征維度成倍增高，導致檢索時間的增加，二是簡單拼接無法有效捕獲空間特征，對檢索性能的提高不明顯。

發明內容

本發明目的是解決當前方法面對多視角特征無法有效聚合，模型空間信息丟失的問題，提供一種基于全局特征捕捉聚合的多視角神經網絡的三維模型檢索方法。

本發明用于挖掘三維模型的多視圖圖像間的內在關系，捕獲三維模型的空間信息，同時通過對多視角特征融合來提高檢索速度。該發明在三維模型檢索中得到了具體驗證。

本發明提供的基于全局特征捕捉聚合的多視角神經網絡三維模型檢索方法，該方法步驟如下：

第1、三維模型的多視圖表示

本發明是基于三維模型的多視角表示來進行三維模型的檢索，在得到三維模型數據之后，通過處理軟件設置好視角角度，捕捉三維模型的對應視角角度視圖圖像。

第2、設計網絡模型

根據三維模型檢索的特點設計了專屬的雙鏈深度神經網絡模型，用于訓練學習適用于三維模型的特征表示。該雙鏈深度神經網絡模型包含了5部分，分別為低維卷積模塊，非局部模塊，高維卷積模塊，加權局部聚合層和分類層。同時還設計了基于中心損失和成對邊界損失的融合損失函數來增加不同類別三維模型之間的區分性。

第3、生成最難樣本對

使用雙鏈深度神經網絡模型需要以樣本對的形式作為輸入，如果對所有樣本都進行配對，那生成的樣本對數目將極為龐大。而最難樣本對是根據同類樣本距離最遠，不同類樣本距離最近的原則來生成。

第4、訓練網絡模型