[發明專利]一種基于跨模態向導網絡的三維模型草圖檢索方法

有效

• 申請號: 202010097592.9
• 申請日: 2020-02-17
• 公開（公告）號: CN111368123B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 梁爽;戴偉東
• 申請（專利權）人: 同濟大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06V10/764;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

1.一種基于跨模態向導網絡的三維模型草圖檢索方法，其特征在于，包括以下步驟：

步驟S1：獲取三維模型訓練數據和草圖訓練數據；

步驟S2：訓練三維模型網絡，并利用訓練完成的三維模型網絡學習得到三維模型特征空間，步驟S2具體包括：

S21：構建三維模型網絡；

S22：利用分類損失函數L_AM-S，將三維模型訓練數據輸入三維模型網絡進行訓練，得到訓練完成的三維模型網絡；

S23：將三維模型訓練數據輸入訓練完成的三維模型網絡，學習得到所有三維模型訓練數據的三維模型特征和一個分類別的三維模型特征空間；

S24：根據類別信息計算三維模型特征空間中各類別三維模型特征的類別中心；

步驟S3：以三維模型特征空間為目標空間訓練草圖網絡，得到訓練完成的草圖網絡，所述的步驟S3具體包括：

S31：構建草圖網絡；

S32：利用三維模型特征的類別中心和類別信息構建向導損失函數L_G；

S33：利用向導損失函數L_G，將草圖訓練數據輸入草圖網絡進行訓練，得到訓練完成的草圖網絡；

步驟S4：利用訓練完成的三維模型網絡和草圖網絡提取待檢索三維模型特征和查詢草圖特征，檢索得到用于相應應用的三維模型。

2.根據權利要求1所述的一種基于跨模態向導網絡的三維模型草圖檢索方法，其特征在于，所述的向導損失函數L_G將草圖網絡中提取的草圖特征約束到三維模型特征空間中，并使具有相同類別信息的草圖特征和三維模型特征對齊。

3.根據權利要求2所述的一種基于跨模態向導網絡的三維模型草圖檢索方法，其特征在于，所述的向導損失函數L_G的表達式為：

L_G＝L_c-λL_a

其中，L_c為草圖特征和同類別的三維模型特征的類別中心的余弦距離，L_a為草圖特征和不同類別的三維模型特征的類別中心的余弦距離之和，λ為超參數，取值為0.01，m為草圖網絡訓練時輸入數據的一個批次的大小，f_i為第i個草圖的草圖特征，yi為第i個草圖特征的類別，c為三維模型特征的類別中心，c_yi為與第i個草圖特征類別相同的三維模型特征的類別中心，c_j為第j個三維模型特征類別的類別中心，N為三維模型特征類別的總數量。

4.根據權利要求1所述的一種基于跨模態向導網絡的三維模型草圖檢索方法，其特征在于，所述的分類損失函數L_AM-S為AM-softmax分類損失函數，其表達式為：

其中，f_k為進入分類器的三維模型特征，為分類器的權重，n為邊界系數，s為權重和三維模型特征歸一化后的縮放系數。

5.根據權利要求1所述的一種基于跨模態向導網絡的三維模型草圖檢索方法，其特征在于，所述的三維模型網絡包括第一深度卷積神經網絡CNN₁和第一全連接層FC₁，所述的草圖網絡包括第二深度卷積神經網絡CNN₂和第二全連接層FC₂。

6.根據權利要求5所述的一種基于跨模態向導網絡的三維模型草圖檢索方法，其特征在于，所述的三維模型訓練數據包括三維模型數據集中所有三維模型對應的二維視角圖，所述的草圖訓練數據與三維模型的二維視角圖的尺寸相同。

7.根據權利要求6所述的一種基于跨模態向導網絡的三維模型草圖檢索方法，其特征在于，所述的第一深度卷積神經網絡CNN₁用于提取各二維視角圖的特征并進行特征融合，所述的第一全連接層FC₁輸出三維模型特征，所述的第二全連接層FC₂輸出草圖特征。

8.根據權利要求7所述的一種基于跨模態向導網絡的三維模型草圖檢索方法，其特征在于，所述的步驟S4具體包括：

S41：將所有的待檢索三維模型渲染成二維視角圖；

S42：將待檢索三維模型的二維視角圖輸入三維模型網絡，提取待檢索三維模型特征；將查詢草圖輸入草圖網絡，提取查詢草圖特征；

S43：計算查詢草圖特征和所有待檢索三維模型特征之間的余弦距離，并進行排序；

S44：按照排序結果依次輸出每個距離對應的三維模型，完成三維模型檢索。