[發明專利]基于組對深度特征學習的多視圖三維模型檢索方法及系統

有效

• 申請號: 202010086644.2
• 申請日: 2020-02-11
• 公開（公告）號: CN111382300B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 劉麗;陳秀秀;張龍;張化祥;高爽;劉冬梅
• 申請（專利權）人: 山東師范大學
• 主分類號: G06F16/583
• 分類號: G06F16/583
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本發明公開了基于組對深度特征學習的多視圖三維模型檢索方法及系統，包括：獲取待檢索三維模型不同角度的二維視圖，提取每一個二維視圖的初始視圖描述符；對上述的多個初始視圖描述符進行聚合，獲得最終的視圖描述符；分別提取最終的視圖描述符的潛在特征和類別特征；將所述潛在特征和類別特征進行加權組合，形成形狀描述符；將得到的形狀描述符與數據庫中三維模型的形狀描述符進行相似性計算，實現多視圖三維模型的檢索。本發明提出多視圖三維模型檢索框架GPDFL，融合了模型的潛在特征和類別特征，能夠提高特征的識別能力和模型的檢索性能。

技術領域

本發明涉及三維模型檢索技術領域，尤其涉及一種基于組對深度特征學習的多視圖三維模型檢索方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

隨著計算機圖形處理能力和三維建模技術的不斷提高，三維模型在游戲、虛擬現實環境、醫學診斷、計算機輔助設計等領域得到了廣泛的應用，成為繼圖像、聲音、文本之后的新一代多媒體數據。面對龐大的三維模型數據庫，三維模型檢索已成為計算機視覺和計算機圖形學領域的一個重要研究課題，近年來引起了人們的極大關注。隨著深度學習的普及，各種深度網絡被用于三維模型識別。如今，研究趨勢已經從設計手工制作的特征轉移到直接通過深層結構學習三維形狀表示。

根據采用的數據類型不同，三維模型檢索方法大致可分為兩大類：基于模型的方法和基于視圖的方法。基于模型的方法直接從原始三維表示中獲得三維形狀特征，如多邊形網格或曲面、體素網格和點云等。基于視圖的方法通常首先用一組二維視圖表示一個三維模型，然后提取或學習每個視圖的特征，最后將它們聚合成一個緊湊的三維形狀描述符。與基于模型的方法相比，基于視圖的方法對三維模型的識別能力更強，并且可以從二維圖像分析的最新發展中獲益，這將導致更好的模型檢索性能。

識別描述符的設計是優化三維模型檢索的基礎問題。盡管近年來對二維圖像的深度學習方法已經有了很好的研究，但是對于基于多視圖的三維模型的描述還處于起步階段。在最近的文獻中，基于多視圖的方法，如多視圖卷積神經網絡(MVCNN和MVCNNMultiRes)通常采用視圖池操作從多個視圖中生成形狀描述符。這些方法在三維模型識別方面具有里程碑意義，并取得了目前最先進的性能。然而，發明人發現，在現有方法中所有視圖都被同等對待以生成一種單一的形狀描述符。視圖之間的潛在關系和類別信息尚未被挖掘出來，這大大限制了形狀描述符的性能，導致無法充分利用三維模型特征表示的能力。一方面，有些視圖彼此相似，而另一些視圖則不同。這些類似的視圖對形狀描述符的貢獻應該類似。另一方面，視圖的類別信息對形狀識別的判別能力更強。在這種情況下，進一步研究視圖之間的潛在關系，從這些視圖中挖掘類別信息是非常重要的。

發明內容

本發明目的是為了解決上述問題，提出了一種基于組對深度特征學習的多視圖三維模型檢索方法及系統，首先使用可擴展的卷積神經網絡(CNN)來提取三維模型的初始視圖描述符，并且利用最大值視圖池進行特征選擇，得到最終的視圖描述符。然后，引入一個自編碼器對不同視圖之間的關系進行建模，以挖掘它們的潛在特征。此外，采用生成對抗網絡的判別器來進一步提取二維視圖的類別特征。最后，根據潛在特征和類別特征的判別性權值，將其組合成最終的形狀描述符。

在一些實施方式中，采用如下技術方案：

基于組對深度特征學習的多視圖三維模型檢索方法，包括：

獲取待檢索三維模型不同角度的二維視圖，提取每一個二維視圖的初始視圖描述符；

對上述的多個初始視圖描述符進行聚合，獲得最終的視圖描述符；

分別提取最終的視圖描述符的潛在特征和類別特征；

將所述潛在特征和類別特征進行加權組合，形成形狀描述符；

將得到的形狀描述符與數據庫中三維模型的形狀描述符進行相似性計算，實現多視圖三維模型的檢索。