[發明專利]圖像檢索模型的訓練方法、裝置、設備和存儲介質

有效

• 申請號: 202110051446.7
• 申請日: 2021-01-15
• 公開（公告）號: CN112380369B
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 閭凡兵;翟亞靜;曹達;秦拯;姚勝;曾海文
• 申請（專利權）人: 長沙海信智能系統研究院有限公司
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06N3/08
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 趙秀芹

1.一種圖像檢索模型的訓練方法，其特征在于，包括：

根據第一子網絡、預設圖像庫中的第一素描圖像和第一RGB圖像，生成所述第一素描圖像對應的第二RGB圖像，以及所述第一RGB圖像對應的第二素描圖像；

根據所述第一素描圖像、所述第二素描圖像、所述第一RGB圖像和所述第二RGB圖像訓練所述第一子網絡，得到第一目標子網絡；

使用所述第一目標子網絡獲取所述第一素描圖像對應的目標RGB圖像，以及所述第一RGB圖像對應的目標素描圖像；

將所述目標素描圖像、所述目標RGB圖像、所述第一素描圖像和所述第一RGB圖像轉換至同一模態，得到目標模態圖像；

提取所述目標模態圖像的特征，得到特征向量；

根據所述特征向量訓練預設的第二子網絡，得到第二目標子網絡；

根據所述第一目標子網絡和所述第二目標子網絡，確定圖像檢索模型。

2.根據權利要求1所述的方法，其特征在于，所述根據所述第一素描圖像、所述第二素描圖像、所述第一RGB圖像和所述第二RGB圖像訓練所述第一子網絡，得到第一目標子網絡，包括：

根據所述第一素描圖像、所述第二素描圖像、所述第一RGB圖像、所述第二RGB圖像和預設損失函數確定第一損失值；

根據所述第一損失值對所述第一子網絡進行對抗訓練，得到訓練后的第一子網絡；

在所述訓練后的第一子網絡的損失值滿足第一預設條件的情況下，確定所述訓練后的第一子網絡為所述第一目標子網絡。

3.根據權利要求2所述的方法，其特征在于，所述使用所述第一目標子網絡獲取所述第一素描圖像對應的目標RGB圖像，以及所述第一RGB圖像對應的目標素描圖像，包括：

向所述第一目標子網絡輸入所述第一素描圖像，輸出所述第一素描圖像對應的所述目標RGB圖像；

向所述第一目標子網絡輸入所述第一RGB圖像，輸出所述第一RGB圖像對應的所述目標素描圖像。

4.根據權利要求1所述的方法，其特征在于，所述目標模態圖像包括分別由所述第一素描圖像、所述第二RGB圖像、所述目標素描圖像和所述目標RGB圖像轉換得到的第一圖像、第二圖像、第三圖像和第四圖像；所述提取所述目標模態圖像的特征，得到特征向量，包括：

分別提取所述第一圖像、第二圖像、第三圖像和第四圖像的特征，得到所述第一圖像對應的第一特征向量、所述第二圖像對應的第二特征向量和所述第三圖像對應的第三特征向量、所述第四圖像對應的第四特征向量；

其中，所述特征向量包括所述第一特征向量、所述第二特征向量、所述第三特征向量和所述第四特征向量。

5.根據權利要求4所述的方法，其特征在于，所述根據所述特征向量訓練預設的第二子網絡，得到第二目標子網絡，包括：

根據三元組損失函數和交叉熵損失函數確定第一損失函數；

根據所述第一特征向量、所述第二特征向量、所述第三特征向量、所述第四特征向量和所述第一損失函數確定第二損失值；

根據所述第二損失值對所述第二子網絡進行訓練，得到訓練后的第二子網絡；

在所述訓練后的第二子網絡的損失值滿足第二預設條件的情況下，確定所述訓練后的第二子網絡為所述第二目標子網絡。

6.根據權利要求1所述的方法，其特征在于，所述根據所述第一目標子網絡和所述第二目標子網絡，確定圖像檢索模型，包括：

將所述第一目標子網絡和所述第二目標子網絡以端到端的方式進行級聯，得到所述圖像檢索模型。

7.根據權利要求1所述的方法，其特征在于，在所述根據第一子網絡、預設圖像庫中的第一素描圖像和第一RGB圖像，生成所述第一素描圖像對應的第二RGB圖像，以及所述第一RGB圖像對應的第二素描圖像之前，所述方法還包括：

根據變分自編碼器對所述第一素描圖像和所述第一RGB圖像進行編碼解碼處理。