[發明專利]一種基于跨模態向導網絡的三維模型草圖檢索方法

有效

• 申請號: 202010097592.9
• 申請日: 2020-02-17
• 公開（公告）號: CN111368123B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 梁爽;戴偉東
• 申請（專利權）人: 同濟大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06V10/764;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

本發明涉及一種基于跨模態向導網絡的三維模型草圖檢索方法，包括以下步驟：S1：獲取三維模型訓練數據和草圖訓練數據；S2：訓練三維模型網絡，并利用訓練完成的三維模型網絡學習得到三維模型特征空間；S3：以三維模型特征空間為目標空間訓練草圖網絡，得到訓練完成的草圖網絡；S4：利用訓練完成的三維模型網絡和草圖網絡提取的待檢索三維模型特征和查詢草圖特征，檢索得到用于相應應用的三維模型，與現有技術相比，本發明具有有效克服跨模態差異性問題等優點。

技術領域

本發明涉及基于草圖的三維模型檢索領域，尤其是涉及一種基于跨模態向導網絡的三維模型草圖檢索方法。

背景技術

三維模型相對于二維圖像具有更豐富的信息，更能全面體現客觀實際，因而被廣泛應用于建筑、醫療等各個領域。近年來，隨著三維掃描，三維打印和三維重建技術的成熟，三維模型的數量也迅速增長。如何有效地從三維模型庫中檢索這些三維模型成為人們關注的重點。早期的檢索方法主要是基于關鍵字檢索和基于三維模型實例檢索。基于關鍵字檢索的缺點一方面在于需要事先對三維模型庫進行大量的文本標注，耗時耗力；另一方面在于關鍵字很難直觀地描述人們的查詢需求。基于實例三維模型的檢索是很直接的，但是實際中卻很難實現，因為人們很少能獲得作為查詢輸入的三維模型。近年來，手繪草圖逐漸成為更受歡迎的人機交互方式。相對于三維模型，手繪草圖是很方便獲取的；相對于關鍵字，手繪草圖可以更直觀地表達人們的需求。因此基于草圖的三維模型檢索成為了計算機視覺領域備受關注的研究方向。

早期的基于三維模型草圖檢索的方法主要是依賴人工設計的特征進行的。這些方法針對草圖和三維模型分別設計相應的手工特征，然后直接進行跨模態特征之間的相似性度量。例如，Eitz等人提出的基于Gabor局部線性特征GALIF(Gabor local line basedfeature)的方法；Furuya等人提出的跨域流形排序(Cross-Domain Manifold Ranking，CDMR)的方法等。

近年來，隨著深度學習在計算機視覺領域取得的巨大成功，層出不窮的深度學習方法被應用于基于草圖的三維模型檢索。這些深度學習的方法大多是基于異構孿生卷積神經網絡進行特征提取，即利用兩個網絡分別對草圖和三維模型進行深度特征提取，然后利用一個共享的損失函數對兩個模態的特征進行匹配和度量學習。這些方法從損失函數的角度分為兩大類：一類是將三維模型草圖檢索的任務看作是度量學習，對一個草圖，通過和三維模型構建多個正負樣本對，然后利用度量損失函數去優化網絡，使得正樣本對靠近，負樣本對遠離，最終使跨模態特征對齊；這類方法比較有代表性的工作有Wang等人提出的Siamese方法，Dai等人提出的Deep Correlated Metric Learning(DCML)方法等。另一類是充分利用類別信息，將該任務看作是一個分類任務，將草圖網絡和三維模型網絡輸出的特征輸入一個共享的分類器，然后利用一個具有判別性的分類損失函數同時優化兩個網絡，使同類別的草圖和三維模型聚集，不同類別的草圖和三維模型盡可能分離；這類方法代表性工作有He等人提出Triplet-Center損失函數(TCL)方法，Lei等人提出的“point-to-subspace”方法等。因為深度神經網絡可以學習到更深層次的特征，因此深度學習的方法在三維模型草圖檢索的性能上取得了很大的進步。

然而這些深度學習的方法都是利用兩個神經網絡同時提取兩個模態的特征，然后將提取出來的兩個模態的特征直接映射到一個共同的子空間中。這樣直接映射跨模態特征的方法很難有效地減小草圖和三維模型之間的跨模態差異，進而影響跨模態檢索的性能。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種有效克服跨模態差異性問題的基于跨模態向導網絡的三維模型草圖檢索方法。

本發明的目的可以通過以下技術方案來實現：

一種基于跨模態向導網絡的三維模型草圖檢索方法，包括以下步驟：

S1：獲取三維模型訓練數據和草圖訓練數據；