[發明專利]訓練跨模態檢索模型的方法、跨模態檢索的方法和相關裝置

有效

• 申請號: 202010108535.6
• 申請日: 2020-02-21
• 公開（公告）號: CN111353076B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 杜澤偉;胡恒通;謝凌曦;田奇
• 申請（專利權）人: 華為云計算技術有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F16/907;G06V10/74;G06V10/82;G06N3/0464;G06N3/084;G06N3/088
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 周喬;王君

1.一種訓練跨模態檢索模型的方法，其特征在于，所述方法包括：

利用跨模態數據集進行無監督學習，得到參考模型，其中所述跨模態數據集包括M組跨模態數據，所述M組跨模態數據中的每組跨模態數據包括N個訓練數據，所述N個訓練數據是相關的，所述N個訓練數據分別屬于N個模態，N為大于或等于2的正整數，M為大于或等于1的正整數；

根據K個訓練數據和所述參考模型，確定K個相似數據組，所述K個相似數據組與所述K個訓練數據一一對應，所述K個相似數據組中的每個相似數據組包括至少一個與對應的訓練數據相似的數據，其中所述K個訓練數據分別屬于所述M組跨模態數據中的K組跨模態數據，且所述K個訓練數據的模態相同，K為大于或等于2且小于或等于M的正整數；

利用所述K組跨模態數據和所述K個相似數據組對初始跨模態檢索模型進行訓練，得到跨模態檢索模型，其中所述K個相似數據組在進行訓練時分別作為所述K組跨模態數據的相似信息。

2.如權利要求1所述的方法，其特征在于，所述根據K個訓練數據和所述參考模型，確定K個相似數據組，包括，

將所述K個訓練數據分別輸入所述參考模型，得到K個特征數據；

根據所述K個特征數據，確定所述K個相似數據組。

3.如權利要求2所述的方法，其特征在于，所述根據所述K個特征數據，確定所述K個相似數據組，包括：

根據所述K個特征數據中的第i個特征數據和K_i個特征數據，確定K_i個相似度，其中所述K_i個特征數據為所述K個特征數據中除所述第i個特征數據以外的K-1個特征數據，i＝1,…,K；

根據所述K_i個相似度，確定相似數據組K_i，所述相似數據組K_i為所述K個相似數據組中對應于所述第i個特征數據的相似數據組。

4.如權利要求3所述的方法，其特征在于，所述根據所述K個特征數據中的第i個特征數據和K_i個特征數據，確定K_i個相似度，包括：

根據以下公式確定所述K_i個相似度中的第j個相似度，j＝1,…,K-1：

S_i,j＝(2-|f_i-f_j|₂)/2，

其中，S_i,j表示所述第j個相似度，f_i表示所述第i個特征數，j表示所述K_i個特征數據中的第j個特征數據，符號||₂表示求L2范數。

5.如權利要求1至4中任一項所述的方法，其特征在于，所述K個訓練數據的模態為圖像。

6.如權利要求3或4所述的方法，其特征在于，所述根據所述K_i個相似度，確定相似數據組K_i，包括：

確定所述K_i個相似度中最大的L個相似度對應的數據為所述相似數據組K_i中的相似數據，L為大于或等于1且小于K_i的正整數；或者，

確定所述K_i個相似度中大于預設相似度閾值的至少一個相似度對應的數據為所述相似數據組K_i中的相似數據。

7.如權利要求1至6中任一項所述的方法，其特征在于，所述利用所述K組跨模態數據和所述K個相似數據組進行訓練，得到跨模態檢索模型，包括：

確定多個參考數據組，所述多個參考數據組中的每個參考數據組包括一個訓練數據和至少一個相似數據，所述每個參考數據組中的訓練數據屬于所述K組跨模態數據中的一組跨模態數據，所述每個參考數據組中的至少一個相似數據屬于所述K個相似數據組中的一個相似數據組，所述每個參考數據組中的訓練數據所屬的跨模態數據與所述每個參考數據組中的至少一個相似數據所屬的相似數據組對應；

利用所述多個參考數據組對所述初始跨模態檢索模型進行訓練，得到所述跨模態檢索模型。