[發明專利]基于全景圖及多通道CNN的三維模型分類和檢索方法

有效

• 申請號: 201810879211.5
• 申請日: 2018-08-03
• 公開（公告）號: CN109063139B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 梁祺;聶為之
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于全景圖和多通道CNN的三維模型視圖提取方法，包括：將3D模型投影到滿足預設條件的圓柱體的側面上，以3D模型的原點為中心，將3D模型的軸線平行于X、Y、Z的主軸之一來獲得初始全景圖；分別以某一預設速率對三維空間中3D模型表面的角度和y坐標進行采樣，獲取初始全景圖中的每個點的兩組值，以此用來表示三維空間中3D模型表面的位置特征、以及3D模型表面的方向特征；構建多尺度網絡與多通道卷積神經網絡，將3D模型表面的位置特征、以及3D模型表面的方向特征作為輸入，進行網絡的訓練和兩種不同3D模型之間的相似性度量。本發明保留了三維模型的結構和視覺的局部和全局信息，自動計算2D全景視圖的特征，用于處理分類和檢索問題。

技術領域

本發明涉及三維模型分類和檢索領域，尤其涉及一種基于全景圖及CNN多通道CNN的三維模型分類和檢索方法。

背景技術

隨著計算機視覺技術的發展，3D技術被廣泛應用在影視行業，機械設計，建筑業，基礎設施，娛樂業，醫療等領域方面。越來越多的人開始在某些網站上上傳自己設計的3D模型，3D模型的數量呈增長趨勢。這導致3D模型檢索成為計算機視覺領域的熱門話題。與二維圖像信息的傳統視覺表現不同，三維模型不僅具有視覺信息，而且具有結構信息。因此，傳統的計算機視覺技術很難用來表示3D模型。近年來，已經提出了許多方法來處理3D模型表示的問題。

一般來說，3D模型檢索方法主要分為兩類，基于模型的方法和基于視圖的方法^[1]。

早期的方法通常屬于基于模型的方法，這需要明確的3D模型數據進行檢索。流行的基于模型的方法通常利用幾何矩^[2]，表面分布^[3]，三維模型^[4]表示的形狀描述。然而，結構信息的提取在計算上是昂貴的，并且其性能受到采樣結構點的高度限制。因此，基于模型的方法的實際應用受到嚴重限制。

近年來基于視圖的方法已經引起了更多的關注，因為它利用一組2D圖像來表示一個3D模型。許多成熟的計算機視覺技術可以直接用于處理3D模型的表示，也提出了許多經典方法^[5][6]。然而，基于視圖的方法最大的問題是它忽略了三維模型的結構和空間信息。

近年來，隨著深度學習的發展，許多研究人員開始利用一些經典的深度學習方法來處理三維模型檢索問題。提出了許多熱門話題。Maturana等^[7]提出了一種基于CNN經典架構的新型三維卷積神經網絡。它可以根據結構信息提取有效的特征向量。Su等人^[8]提出了一種新穎的CNN網絡(MVCNN)來處理基于多視圖信息的3D模型表示。在網絡處理中，它可以融合多視圖信息以提供強健功能。Kanezaki等人^[9]提出了一種改進的CNN網絡來處理三維模型分類和檢索問題，該模型被設計為僅使用部分多視點圖像集來進行推理和特征學習。Charles等^[10]提出了一種直接消耗點云的新型神經網絡(PointNet)。但是，這種方法只適用于點云類型，這會限制其應用范圍。Wu等^[11]對離散化為303體素網格的形狀訓練了一個深度信念網絡，用于對象分類，形狀完成和次最佳視圖預測。Sedaghat等人^[12]介紹了一種輔助定向損失，與原來的VoxNet相比，分類性能提高^[7]。一般而言，所有這些方法通常關注結構信息或視覺信息，而忽略另一個，影響分類和搜索精度。

發明內容

本發明提供了一種基于全景圖和多通道CNN的三維模型分類和檢索方法，本發明保留了三維模型的結構和視覺的局部和全局信息，自動計算2D全景視圖的特征，用于處理分類和檢索問題，詳見下文描述：

一種基于全景圖和多通道CNN的三維模型視圖提取方法，所述方法包括以下步驟：

將3D模型投影到滿足預設條件的圓柱體的側面上，以3D模型的原點為中心，將3D模型的軸線平行于X、Y、Z的主軸之一來獲得初始全景圖；