[發明專利]基于時空特征信息的草圖檢索三維模型的跨模態檢索方法

有效

• 申請號: 202010854244.1
• 申請日: 2020-08-24
• 公開（公告）號: CN112085072B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 白靜;周文惠;拖繼文;秦飛巍
• 申請（專利權）人: 北方民族大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/774;G06F16/583;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.基于時空特征信息的草圖檢索三維模型的跨模態檢索方法，所述時空特征信息包括時序動態特征信息和空間靜態特征信息；其特征在于，該方法是先進行數據選取，然后構建草圖-三維模型圖像序列和時空特征信息提取網絡，使用時空特征信息提取網絡提取草圖和三維模型的時空特征信息，再使用深度度量學習實現草圖和三維模型的時空特征信息聯合，最后根據時空特征信息聯合中草圖和三維模型的時空特征信息的歐式距離進行相似度計算；其包括以下步驟：

S1、數據選取

數據集選用草圖檢索三維模型的標準數據集SHREC2013、SHREC2014，每個數據集包括三維模型數據和草圖數據兩個部分，分別針對兩個數據集劃分訓練數據集和測試數據集；

S2、構建草圖-三維模型圖像序列

構建的草圖-三維模型圖像序列包含草圖圖像序列和三維模型圖像序列；針對步驟S1所選取的兩個數據集的草圖數據部分，根據草圖繪制的筆畫順序構建草圖圖像序列；針對步驟S1所選取的兩個數據集的三維模型部分，根據三維模型的投影順序獲得三維模型圖像序列；

S3、構建時空特征信息提取網絡

構建的時空特征信息提取網絡由卷積神經網絡和循環神經網絡組成，所述時空特征信息提取網絡通過訓練數據集完成訓練后，再使用測試數據集進行測試，在進行時空特征信息提取時，所述時空特征信息提取網絡是使用卷積神經網絡提取草圖-三維模型圖像序列中單個圖像的空間靜態特征信息，使用循環神經網絡提取草圖-三維模型圖像序列的時序動態特征信息，再將提取的空間靜態特征信息和時序動態特征信息串行連接，完成時空特征信息的有效融合；

S4、時空特征信息聯合

引入深度度量學習進行草圖和三維模型的時空特征信息聯合，確保在時空特征信息聯合中草圖和三維模型這兩種跨域數據的相同類別的歐式距離小于不同類別的歐式距離，以符合草圖檢索三維模型這一跨模態數據檢索的特性；

S5、相似度計算

在相似度計算中，計算測試數據集的草圖和三維模型的時空特征信息在時空特征聯合中的歐式距離，并將得到的歐式距離進行排序完成檢索過程，最后使用三維模型檢索領域通用的評價指標作為檢索的評價標準；其中，對于相同類別的草圖和三維模型，在時空特征信息聯合中的時空特征信息距離趨近。

2.根據權利要求1所述的基于時空特征信息的草圖檢索三維模型的跨模態檢索方法，其特征在于：在步驟S1中，所述SHREC2013包含90個類、7200張草圖和1258個三維模型，各個類中的三維模型數量不等，最少的只有4個，最多的則有184個，各個類中的草圖數目均為80，實驗中，針對每個類，50個草圖用作訓練，30個草圖用作測試，1258個三維模型則全部作為檢索對象；所述SHREC2014包含171個類、13680張草圖和8978個三維模型，各個類中的三維模型數量最少的少于10個，最多的則多于300個，各個類中的草圖數目也為80，實驗中，針對每個類，50個草圖用作訓練，30個草圖用作測試，8978個三維模型則全部作為檢索對象。

3.根據權利要求1所述的基于時空特征信息的草圖檢索三維模型的跨模態檢索方法，其特征在于：在步驟S2中，所述草圖圖像序列的選取范圍為2～4張；針對步驟S1所選取的兩個數據集的三維模型部分，將三維模型水平放置后選取預設角度對三維模型進行順序視圖投影，根據其投影順序選取4～12張視圖完成對三維模型圖像序列的構建。

4.根據權利要求1所述的基于時空特征信息的草圖檢索三維模型的跨模態檢索方法，其特征在于：在步驟S3中，所述卷積神經網絡選用網絡權值共享的殘差網絡提取輸入草圖-三維模型圖像序列的空間靜態特征，所述循環神經網絡選用網絡權值共享的長短期記憶網絡進行時序動態特征的提取，其中，所述長短期記憶網絡中每個網絡模塊由三個不同的門控單元構成，分別為遺忘門、輸入門和輸出門，門控單元介紹如下：

遺忘門，決定了上一時刻的單元狀態有多少保留到當前時刻的網絡模塊；

輸入門，決定了當前時刻網絡的輸入有多少保存到單元狀態；

輸出門，能夠控制單元狀態有多少輸出到的當前輸出值。