[發(fā)明專利]圖文匹配方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011052223.4
• 申請日: 2020-09-29
• 公開（公告）號: CN112148839A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 崔志
• 申請（專利權(quán)）人: 北京小米松果電子有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06T9/00;G06K9/62
• 代理公司: 北京鉦霖知識產(chǎn)權(quán)代理有限公司 11722
• 代理人: 李志新;劉亞平

1.一種圖文匹配方法，其特征在于，所述方法包括：

獲取待進(jìn)行圖文匹配的圖像；

將所述圖像輸入預(yù)先訓(xùn)練的圖文編碼模型，對所述圖像進(jìn)行編碼，得到圖像向量；

從預(yù)先存儲的文本向量中確定與所述圖像向量相似的文本向量；

其中，所述圖文編碼模型在訓(xùn)練過程中還包括用于對文本進(jìn)行編碼的文本編碼子網(wǎng)絡(luò)，所述預(yù)先存儲的文本向量通過所述文本編碼子網(wǎng)絡(luò)對預(yù)設(shè)文本編碼確定；

將與所述圖像向量相似的預(yù)設(shè)數(shù)量文本向量對應(yīng)的文本，確定為與所述圖像匹配的文本。

2.根據(jù)權(quán)利要求1所述的圖文匹配方法，其特征在于，所述從預(yù)先存儲的文本向量中確定與所述圖像向量相似的文本向量，包括：

分別確定預(yù)先存儲的文本向量中的各文本向量與所述圖像向量的余弦距離；

根據(jù)計(jì)算的余弦距離，獲取與所述圖像向量的余弦距離大于設(shè)定距離閾值的文本向量，并

將余弦距離大于設(shè)定距離閾值的文本向量，確定為與所述圖像向量相似的文本向量。

3.根據(jù)權(quán)利要求1所述的圖文匹配方法，其特征在于，所述預(yù)先存儲的文本向量通過所述文本編碼子網(wǎng)絡(luò)對預(yù)設(shè)文本編碼確定，包括：

將所述預(yù)設(shè)文本輸入所述圖文編碼模型，通過所述圖文編碼模型包括的文本編碼子網(wǎng)絡(luò)對輸入的所述預(yù)設(shè)文本進(jìn)行編碼，得到所述預(yù)先存儲的文本向量。

4.根據(jù)權(quán)利要求1所述的圖文匹配方法，其特征在于，所述圖文編碼模型基于第一訓(xùn)練樣本對和第二訓(xùn)練樣本對訓(xùn)練得到，所述第一訓(xùn)練樣本對包括所述預(yù)設(shè)文本以及與所述預(yù)設(shè)文本相匹配的圖像樣本，所述第二訓(xùn)練樣本對包括所述預(yù)設(shè)文本以及與所述預(yù)設(shè)文本不相匹配的圖像樣本。

5.一種圖文編碼模型訓(xùn)練方法，其特征在于，所述方法包括：

確定預(yù)設(shè)文本樣本；

確定與所述預(yù)設(shè)文本樣本相匹配的圖像，得到第一訓(xùn)練樣本對，并確定與預(yù)設(shè)文本樣本不匹配的圖像，得到第二訓(xùn)練樣本對；

基于所述第一訓(xùn)練樣本對和所述第二訓(xùn)練樣本對訓(xùn)練得到圖文編碼模型。

6.根據(jù)權(quán)利要求5所述的圖文編碼模型訓(xùn)練方法，其特征在于，所述圖文編碼模型包括圖像編碼子網(wǎng)絡(luò)和文本編碼子網(wǎng)絡(luò)，所述基于所述第一訓(xùn)練樣本對和所述第二訓(xùn)練樣本對訓(xùn)練得到圖文編碼模型，包括：

通過圖像編碼子網(wǎng)絡(luò)，分別提取所述第一訓(xùn)練樣本對和所述第二訓(xùn)練樣本對中各圖像樣本的圖像向量，并

通過文本編碼子網(wǎng)絡(luò)，分別提取所述第一訓(xùn)練樣本對和所述第二訓(xùn)練樣本對中各文本樣本的文本向量；

基于所述圖像樣本的圖像向量和所述文本樣本的文本向量，確定第一余弦距離和第二余弦距離，其中，所述第一余弦距離為所述第一訓(xùn)練樣本對中的文本向量和圖像向量之間的余弦距離，所述第二余弦距離為所述第二訓(xùn)練樣本中的文本向量和圖像向量之間的余弦距離；

根據(jù)所述第一余弦距離、所述第二余弦距離、以及損失函數(shù)，調(diào)整所述圖像編碼子網(wǎng)絡(luò)和所述文本編碼子網(wǎng)絡(luò)的訓(xùn)練參數(shù)，得到滿足損失值的所述圖文編碼模型；

其中，所述圖文編碼模型滿足使所述第一余弦距離大于預(yù)設(shè)的第一距離閾值，所述第二余弦距離小于預(yù)設(shè)的第二距離閾值。

7.一種圖文匹配裝置，其特征在于，所述裝置包括：

獲取單元，被配置為獲取待進(jìn)行圖文匹配的圖像；

處理單元，被配置為將所述圖像輸入預(yù)先訓(xùn)練的圖文編碼模型，對所述圖像進(jìn)行編碼，得到圖像向量；

確定單元，被配置為從預(yù)先存儲的文本向量中確定與所述圖像向量相似的文本向量；

其中，所述圖文編碼模型在訓(xùn)練過程中還包括用于對文本進(jìn)行編碼的文本編碼子網(wǎng)絡(luò)，所述預(yù)先存儲的文本向量通過所述文本編碼子網(wǎng)絡(luò)對預(yù)設(shè)文本編碼確定；

所述確定單元，還被配置為將與所述圖像向量相似的預(yù)設(shè)數(shù)量文本向量對應(yīng)的文本，確定為與所述圖像匹配的文本。