[發明專利]檢索模型的訓練和識別方法、電子設備及存儲介質

有效

• 申請號: 202010990105.1
• 申請日: 2020-09-18
• 公開（公告）號: CN112287134B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 劉俊浩;楊敏;李成明;徐睿峰;姜青山
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06F16/483
• 分類號: G06F16/483;G06F16/432
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

1.一種檢索模型的訓練方法，其特征在于，包括：

獲取第一樣本集，其中，所述第一樣本集中包括多個第一樣本，每個所述第一樣本包括一對第一樣本對象和第二樣本對象，所述第一樣本對象和所述第二樣本對象的模態不同，所述第一樣本對象的模態為圖像，所述第二樣本對象的模態為文本；

利用所述檢索模型提取所述第一樣本對象的第一特征和所述第二樣本對象的第一特征，所述第一特征屬于第一語義空間；

利用所述檢索模型將所述第一特征映射成第二特征，所述第二特征屬于第二語義空間，所述第二語義空間為生成模型的編碼器提取的特征所屬語義空間；

利用生成模型的解碼器生成所述第一樣本對象的第二特征對應的第一生成對象、所述第二樣本對象的第二特征對應的第二生成對象，所述第一生成對象和所述第二樣本對象的模態相同，所述第二生成對象和所述第一樣本對象的模態相同；

利用鑒別器對所述第一生成對象和所述第二生成對象進行鑒別，基于鑒別結果調整所述檢索模型的參數，所述鑒別器用于鑒別所述第一生成對象和所述第二生成對象是基于所述生成模型得到的特征還是所述檢索模型得到的特征生成的。

2.根據權利要求1所述的方法，其特征在于，所述方法進一步包括：

利用所述生成模型的編碼器提取所述第一樣本對象的第三特征和所述第二樣本對象的第三特征；

基于所述第二特征和第三特征之間的差異，調整所述檢索模型的參數。

3.根據權利要求1所述的方法，其特征在于，在利用鑒別器對所述第一生成對象和所述第二生成對象進行鑒別之前，包括：

對所述鑒別器進行訓練。

4.根據權利要求3所述的方法，其特征在于，所述對所述鑒別器進行訓練，包括：

利用所述生成模型的編碼器得到所述第一樣本對象的第四特征和所述第二樣本對象的第四特征，并利用所述檢索模型得到所述第一樣本對象的第五特征和所述第二樣本對象的第五特征，所述第四特征和第五特征屬于第二語義空間，所述第五特征的得到方式與所述第二特征的得到方式相同；

利用所述生成模型的解碼器生成所述第一樣本對象的第四特征對應的第三生成對象和所述第二樣本對象的第四特征對應的第四生成對象，并利用所述生成模型的編碼器生成所述第一樣本對象的第五特征對應的第五生成對象和所述第二樣本對象的第五特征對應的第六生成對象，所述第三生成對象、第五生成對象和所述第二樣本對象的模態相同，所述第四生成對象、第六生成對象和所述第一樣本對象的模態相同；

利用所述鑒別器對所述第三生成對象和第五生成對象進行鑒別，并利用所述鑒別器對所述第四生成對象和第六生成對象進行鑒別，基于鑒別結果調整所述鑒別器的參數。

5.根據權利要求1所述的方法，其特征在于，在所述利用所述檢索模型提取所述第一樣本對象的第一特征和所述第二樣本對象的第一特征之前，包括：

對所述檢索模型進行預訓練。

6.根據權利要求5所述的方法，其特征在于，所述對所述檢索模型進行預訓練，包括：

利用所述檢索模型提取所述第一樣本對象的第六特征和第二樣本對象的第六特征；

利用所述檢索模型對所述第六特征進行分類，基于分類結果調整所述檢索模型的參數。

7.根據權利要求6所述的方法，其特征在于，在所述利用所述檢索模型提取所述第一樣本對象的第六特征和第二樣本對象的第六特征之后，還包括：

基于所述第一樣本間樣本對象的第六特征的差異，以及基于所述第一樣本內樣本對象的第六特征的差異，調整所述檢索模型的參數。

8.根據權利要求1所述的方法，其特征在于，在所述利用生成模型的解碼器生成所述第一樣本對象的第二特征對應的第一生成對象、所述第二樣本對象的第二特征對應的第二生成對象之前，還包括：

對所述生成模型進行訓練。