[發明專利]一種基于深度度量學習的三維模型檢索方法及系統

在審

• 申請號: 202110646881.4
• 申請日: 2021-06-10
• 公開（公告）號: CN113392244A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 任鏷;李宏峰;余文婷;徐心悅
• 申請（專利權）人: 北京印刷學院
• 主分類號: G06F16/532
• 分類號: G06F16/532;G06F16/55;G06F16/583;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 金怡

本發明涉及一種基于深度度量學習的三維模型檢索方法及系統，其方法包括：步驟S1：將三維模型投影為二維線畫圖；步驟S2：計算二維線畫圖的信息熵，按照信息熵的值排序，獲取前k幅圖像作為三維模型對應的三維模型線畫圖；步驟S3：將待檢索的手繪草圖和三維模型線畫圖輸入Triplet?CNN網絡進行訓練，并構建損失函數以實現同類樣本和非同類樣本相似度對比。本發明提供的方法，一方面從像素級原始數據到抽象的語義概念逐層提取信息，使用緊湊的特征表達描述圖像內容；另一方面通過訓練數據學習一個有效的度量，使得相同類別樣本間的相似度更大，不同類別樣本間的相似度更小，從而提高分類器的判別能力，改善匹配和聚類性能，得到更高的檢索準確率。

技術領域

本發明涉及三維模型檢索領域，具體涉及一種基于深度度量學習的三維模型檢索方法及系統。

背景技術

三維模型檢索是實現模型復用的基礎，三維模型檢索提供用戶更好的交互方式，幫助其從海量數據庫中快速準確地鎖定目標模型。與傳統三維模型檢索需要的語義信息、二維圖像信息和三維模型信息相比，手繪草圖具有直觀、易表達的特點和優勢?；谏疃榷攘繉W習進行三維模型檢索的一般過程是：對用戶提供的草圖描述和所有待檢索三維模型提取特征；在特征向量之間定義相似性度量；計算相似度最高的一個或多個三維模型作為檢索結果反饋給用戶。

對應基于深度度量學習的三維模型檢索的一般過程，典型算法包含三個主要步驟，即三維模型線畫圖生成、草圖和線畫圖特征提取、以及特征相似度計算和排序。線畫圖生成的研究目標是提取能夠表達三維模型顯著特征的二維稀疏線條。普林斯頓大學Rusinkiewicz教授總結介紹了一些線畫圖的定義描述和繪制方法，包括外輪廓線、內輪廓線、暗示性輪廓線和脊谷線等。針對三維網格的線畫圖提取工作也圍繞這幾類線條進行研究。傳統思路通常將三維模型渲染成二維圖像，再利用圖像輪廓提取算法計算投影角度對應線畫圖。近年來，許多研究利用微分幾何理論提取數據的三維空間特征，直接計算得到更加合理的線畫圖像。

草圖和線畫圖的形狀特征提取算法是檢索技術的核心，可分為全局和局部兩類特征提取算法。全局特征偏向于使用全部頻域特征、統計特征來表達圖像中繪制區域，如方向梯度直方圖、距離變換、矩方法等。而局部特征指的是在繪制區域內使用一些特征點來代表圖像，如尺度不變特征變換(SIFT)和基于它的各種改進算法。結合全局和局部特征，Saavedra等人提出一種描述關鍵形狀的方向直方圖-角空間描述符。Eitz等人提出的基于詞袋(bag-of-feature)特征和Gabor濾波的草圖檢索框架，對所有采樣的局部區域計算類似全局特征的形狀特征描述，得到很好的效果。

相似度計算和排序階段，最常用的相似度度量是向量空間余弦相似度，通過計算兩個向量的夾角余弦值來比較其相似程度。另一種有效方法借鑒自文本統計方法，即詞頻-逆向文件頻率(TF-IDF)算法。Furuya等人在相似度排序階段引入流形排序，挖掘高維數據的本質結構，彌補了傳統基于特征相似度的排序算法所存在的缺點，提高了檢索準確率。Wang等人在預定義視角的基礎上，首次通過卷積神經網絡訓練特征進行三維模型的草圖檢索，準確率明顯優于其他基于傳統特征的檢索算法。Dai等人結合三維模型的幾何算子和二維草圖的深度學習算法分別提取樣本特征并進行相似度計算，檢索性能提升顯著。

但是，傳統算法只是基于圖像局部和全局特征進行相似度對比，無法進行同類和非同類樣本相似度之間的對比，因此在檢索準確率上有很大局限性。

發明內容

為了解決上述技術問題，本發明提供一種基于深度度量學習的三維模型檢索方法及系統。

本發明技術解決方案為：一種基于深度度量學習的三維模型檢索方法，包括：

步驟S1：將三維模型投影為二維線畫圖；

步驟S2：計算所述二維線畫圖的信息熵，按照所述信息熵的值排序，獲取前k幅圖像作為所述三維模型對應的三維模型線畫圖；