[發明專利]檢索模型的訓練和識別方法、電子設備及存儲介質

有效

• 申請號: 202010990105.1
• 申請日: 2020-09-18
• 公開（公告）號: CN112287134B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 劉俊浩;楊敏;李成明;徐睿峰;姜青山
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06F16/483
• 分類號: G06F16/483;G06F16/432
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

本申請公開了一種檢索模型的訓練和識別方法、二值轉換模型的訓練方法、電子設備及存儲介質。該訓練方法包括：獲取第一樣本集，第一樣本集中包括多個第一樣本，每個第一樣本包括一對第一樣本對象和第二樣本對象，第一樣本對象和第二樣本對象的模態不同；利用檢索模型提取第一樣本對象的第一特征和第二樣本對象的第一特征；利用檢索模型將第一特征映射成第二特征；利用生成模型的解碼器生成第一樣本對象的第二特征對應的第一生成對象、第二樣本對象的第二特征對應的第二生成對象；利用鑒別器對第一生成對象和第二生成對象進行鑒別，基于鑒別結果調整檢索模型的參數。通過上述方式，本申請能夠提高檢索模型的檢索能力。

技術領域

本申請涉及機器學習技術領域，特別是涉及一種檢索模型的訓練和識別方法、二值轉換模型的訓練方法、電子設備及存儲介質。

背景技術

跨模態檢索是一項極具挑戰性的任務，它要求檢索模型能夠連接不同模態數據之間所存在的巨大語義鴻溝。在檢索模型支持圖像、文本兩種模態的前提下，對跨檢索模型的檢索(檢索與圖像匹配的文本)過程進行舉例說明。檢索模型可以提取圖像的特征，然后對該提取得到的特征與數據庫中文本特征的相似度進行一一計算，并找到符合相似度條件的文本特征對應的文本作為與該圖像匹配的文本。

一般來說，為了實現檢索的目的，在使用檢索模型進行檢索之前，需要對其進行訓練，以提高后續檢索模型的檢索能力。但是，現有的訓練方法得到的檢索模型的檢索能力依然受限。

發明內容

本申請提供一種檢索模型的訓練和識別方法、二值轉換模型的訓練方法、電子設備及存儲介質，能夠解決現有訓練方法得到的檢索模型的檢索能力受限的問題。

為解決上述技術問題，本申請采用的一個技術方案是：提供一種檢索模型的訓練方法，該方法包括：獲取第一樣本集，其中，第一樣本集中包括多個第一樣本，每個第一樣本包括一對第一樣本對象和第二樣本對象，第一樣本對象和第二樣本對象的模態不同；利用檢索模型提取第一樣本對象的第一特征和第二樣本對象的第一特征，第一特征屬于第一語義空間；利用檢索模型將第一特征映射成第二特征，第二特征屬于第二語義空間，第二語義空間為生成模型的編碼器提取的特征所屬語義空間；利用生成模型的解碼器生成第一樣本對象的第二特征對應的第一生成對象、第二樣本對象的第二特征對應的第二生成對象，第一生成對象和第二樣本對象的模態相同，第二生成對象和第一樣本對象的模態相同；利用鑒別器對第一生成對象和第二生成對象進行鑒別，基于鑒別結果調整檢索模型的參數。

為解決上述技術問題，本申請采用的另一個技術方案是：提供一種二值轉換模型的訓練方法，該方法包括：獲取第一樣本集，第一樣本集包括多個第一樣本，每個第一樣本包括一對第一樣本對象和第二樣本對象，第一樣本對象和第二樣本對象的模態不同；利用檢索模型提取第一樣本對象的第七特征和第二樣本對象的第七特征；利用二值轉換模型將第七特征轉換為第八特征；基于第七特征和第八特征之間的差異，調整二值轉換模型的參數；檢索模型為經上述訓練方法得到的。

為解決上述技術問題，本申請采用的又一個技術方案是：提供一種基于檢索模型的識別方法，該方法包括：獲取待檢索對象；利用檢索模型提取待檢索對象的第九特征；利用檢索模型基于第九特征在數據庫中檢索與待檢索對象匹配的目標對象，其中，目標對象的模態與待檢索對象的模態不同；檢索模型為經上述訓練方法得到的。

為解決上述技術問題，本申請采用的又一個技術方案是：提供一種電子設備，該電子設備包括處理器、與處理器連接的存儲器，其中，存儲器存儲有程序指令；處理器用于執行存儲器存儲的程序指令以實現上述方法。

為解決上述技術問題，本申請采用的再一個技術方案是：提供一種存儲介質，存儲有程序指令，該程序指令被執行時能夠實現上述方法。