[發明專利]一種基于異構孿生神經網絡的三維模型草圖檢索方法

在審

• 申請號: 202110694949.6
• 申請日: 2021-06-23
• 公開（公告）號: CN113656616A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 梁爽;戴偉東;蔡奕陽
• 申請（專利權）人: 同濟大學
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06T17/00;G06N3/04
• 代理公司: 上?？剖⒅R產權代理有限公司 31225
• 代理人: 丁云

本發明涉及一種基于異構孿生神經網絡的三維模型草圖檢索方法，包括以下步驟：S1：獲取三維模型訓練數據和草圖訓練數據；S2：利用兩個模態獨立網絡別提取草圖和三維模型的深度特征；S3：用一個模態共享網絡將模態獨立網絡學習到的草圖特征和三維模型特征映射到共享特征空間中；S4：利用訓練完成的模態獨立網絡和模態共享網絡提取查詢草圖特征和三維模型庫中三維模型特征，進行草圖和三維模型特征相似度計算并排序，得到檢索結果。與現有技術相比，本發明具有有效克服跨模態差異性，網絡設計簡單易復現，為后續方法提高簡單基線等優點。

技術領域

本發明涉及草圖檢索領域，尤其是涉及一種基于異構孿生神經網絡的三維模型草圖檢索方法。

背景技術

現如今，三維模型的應用越來越廣泛。例如建筑行業，利用三維模型模擬更加精準和直觀的建筑模型。醫療行業，三維模型相對于二維圖像更能精確地展示人體器官的構造，有助于手術進行和疾病分析。隨著三維打印和三維掃描技術的發展，三維模型的獲取也變得越來越簡單。因此，近幾年，三維模型的數量急劇增長。面對數量快速增加的三維模型，如何有效地進行管理就變成了一個關鍵的問題。如同二維圖像的檢索一樣，三維模型的檢索也是管理三維模型的一個重要的方面。如何快速，便捷，有效地檢索三維模型成了計算機視覺和計算機圖形學領域的一個熱門研究。最常用的方法是基于文本的三維模型檢索。它主要是對三維模型庫里的三維模型進行文本標注。當輸入檢索關鍵字時，利用查詢關鍵字和三維模型的標注進行匹配從而實現模型檢索。該檢索技術的優點是容易實現，技術門檻低。但是基于文本的三維模型檢索有以下缺點：首先是目前大量的三維模型都是沒有文本標注的，對這些海量的三維模型進行標注，需要消耗大量的人力資源。其次，文本信息大多時候很難直觀地描述三維模型的檢索需求。另外，近年來，人們開始研究基于實例的三維模型檢索，該檢索技術主要是利用三維模型去檢索三維模型。輸入的查詢是一個實例的三維模型。該方法的優點是可以獲得很高的檢索精度，因為查詢輸入和待檢索的模型庫沒有跨模態差異性。但是該方法的缺點也很明顯，即人們大多時候是不具有查詢輸入的三維模型。

近年來，隨著觸屏技術的發展，手繪草圖成為了一種便捷，直觀的人機交互方式。例如，人們利用手繪草圖去檢索二維圖像。在此背景下，基于草圖的三維模型檢索也越來越受到計算機視覺和圖形學領域的關注?；诓輬D的三維模型檢索具有以下優點：首先草圖的獲取相對于實例三維模型更加容易，尤其是智能手機和平板產品的出現，使得草圖的獲取更加便捷。其次，草圖相對于文本可以更加直觀地描述人們的檢索需求。人們可以很直觀地描繪一些細節上的需求。

現有技術中，初期基于三維模型草圖的檢索方法主要依賴人工設計的特征進行。另外，隨著深度學習在計算機視覺領域的應用，各種深度學習方法也被應用在基于草圖的三維模型檢索中，主要分為兩個方向：一方面是設計更加復雜的網絡模型，方便更好的特征提取以及特征表示，另一方便是對損失函數的改進，設計越來越復雜的損失函數，損失的函數的設計的目標都是盡量使同類別的草圖和三維模型聚集，不同類別的草圖和三維模型盡可能分離。

這些深度學習方法有兩個缺點：一方面是由于網絡和損失函數設計的局限性，這些方法不能有效地減小跨模態差異性，檢索的精度低。另一方是隨著損失函數和模型網絡的不斷改進，這些深度學習方法變得越來越復雜，對于后續的三維模型草圖檢索工作來說，沒有一個容易復現、改進和比較的基線。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于異構孿生神經網絡的三維模型草圖檢索方法。

本發明的目的可以通過以下技術方案來實現：

一種基于異構孿生神經網絡的三維模型草圖檢索方法，包括以下步驟：

S1：獲取三維模型訓練數據和草圖訓練數據；

S2：利用兩個模態獨立神經網絡分別提取草圖和三維模型的深度特征；

S3：利用一個模態共享網絡將模態獨立網絡學習到的草圖和三維模型的深度特征映射到共享特征空間中；