[發明專利]基于時空特征信息的草圖檢索三維模型的跨模態檢索方法

有效

• 申請號: 202010854244.1
• 申請日: 2020-08-24
• 公開（公告）號: CN112085072B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 白靜;周文惠;拖繼文;秦飛巍
• 申請（專利權）人: 北方民族大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/774;G06F16/583;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于時空特征信息的草圖檢索三維模型的跨模態檢索方法，該方法是先進行數據選取，然后構建草圖?三維模型圖像序列和時空特征信息提取網絡，使用時空特征信息提取網絡提取草圖和三維模型的時空特征信息，再使用深度度量學習實現草圖和三維模型的時空特征信息聯合，最后根據時空特征信息聯合中草圖和三維模型的時空特征信息的歐式距離進行相似度計算。本發明檢索性能突出，可有效完成草圖檢索三維模型的跨模態檢索，有著更好的準確度，操作簡單，實用性強。

技術領域

本發明涉及計算機圖形學、計算機視覺與智能識別的技術領域，尤其是指一種基于時空特征信息的草圖檢索三維模型的跨模態檢索方法。

背景技術

隨著計算機輔助設計與計算機視覺的快速發展,三維物體作為一種重要的數據類型成為了繼聲音、圖像與視頻之后信息的主要載體之一,在工業制造,虛擬現實和增強現實等領域有著廣泛的應用。如何有效識別和檢索三維模型是諸多應用的研究基礎,成為研究學者關注的課題,手繪草圖易于構建,非常直觀,且不受地域、專業、年齡等外在因素影響,在人類歷史中一直被當作一種非常有效的交流手段.近些年來,隨著便攜式觸屏設備的普及,手繪草圖數據變得易于獲取,基于手繪草圖的三維模型檢索成為新的研究方向。

然而，在基于草圖的三維模型檢索領域中，三維模型和草圖之間存在著巨大的域間差異性:三維模型數據是現實世界的客觀表征或虛擬世界的數字化模型,具有表征準確、具體的,數據維度高、非結構化等特性；而草圖是用戶的一種主觀表達,往往由表征物體全局屬性的簡單線條組成,強調整體結構和突出特點,具有稀疏性和全局性等特性。因而,基于手繪草圖的三維模型檢索仍然非常困難.根據檢索工作內容可以將現有工作的檢索過程分為跨域數據的初始表征、特征嵌入和相似度計算三個步驟,在跨域數據的初始表征中將草圖數據和三維模型數據進行數據表征,從而使數據特征完整的被表示.在特征嵌入階段通常將草圖域和三維模型域的特征數據使用度量學習進行特征嵌入,與此同時使得特征嵌入空間中相同類的特征數據距離拉近不同類特征距離推遠.相似度計算階段通過使用歐式距離完成草圖域和視圖域特征的相似度計算?，F有的方法往往將數據特征看作一幅靜態圖像,使用經典的CNN(Convolutional Neural Network，卷積神經網絡)對進行特征表示,然而這種方法只考慮到數據特征的空間信息卻忽略了數據特征的時序信息,一定程度影響檢索效果.

在現有的檢索工作中,跨域數據的初始表征部分研究者們只提取到了特征數據的空間信息,如劉等人使用AlexNet[Liu Yujie,Song Yang,Li Zongmin,et al.Sketch-based 3D shape retrieval with representative view and convolutional neuralnetwork[J].Journal of Graphics,2018,39(4):735-741(in Chinese)(劉杰,宋陽,宗,等.融合信息熵和CNN的基于手繪的三維模型檢索[J].圖學學報,2018,39(4):735-741)],Chen等人使用ResNet[[7]Chen J,Fang Y.Deep cross-modality adaptation via se-mantics preserving adversarial learning for sketch-based 3d shape retrieval[C]//Proceedings of the European Confer-ence on Computer Vision(ECCV).2018:605-620],Qi等人使用Inception-ResNet-v2[[8]Qi A,Song Y Z,Xiang T.SemanticEmbedding for Sketch-Based 3D Shape Retrieval[C]//BMVC.2018,2(7):8]提取草圖初始特征。由于CNN本是針對自然圖像設計的,旨在獲取圖像中有判別性的紋理特征,而手繪草圖較為抽象,僅由簡單線條構成,缺乏顏色和紋理信息,因此僅使用CNN對草圖進行特征提取效果還不夠理想.此外,草圖的繪制是一個動態過程,僅僅使用CNN的算法往往忽略了草圖繪制過程中所包含的時序信息,造成有益信息的損失,這也進一步影響了草圖特征提取的效果.