[發(fā)明專利]多模態(tài)預(yù)訓(xùn)練模型的訓(xùn)練方法、應(yīng)用方法及裝置

在審

• 申請?zhí)枺?/td>: 202110262221.6
• 申請日: 2021-03-10
• 公開（公告）號: CN112990297A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: 霍宇琦;張曼黎;劉光鎮(zhèn);盧志武;竇志成;金琴;趙鑫;宋睿華;文繼榮
• 申請（專利權(quán)）人: 北京智源人工智能研究院;中國人民大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F16/583;G06F16/33
• 代理公司: 北京辰權(quán)知識產(chǎn)權(quán)代理有限公司 11619
• 代理人: 尹倩倩

1.一種多模態(tài)預(yù)訓(xùn)練模型的訓(xùn)練方法，其特征在于，包括：

構(gòu)建雙塔結(jié)構(gòu)的多模態(tài)預(yù)訓(xùn)練模型；

獲取正樣本數(shù)據(jù)集和負(fù)樣本數(shù)據(jù)集，所述正樣本數(shù)據(jù)集包括正樣本圖文對，所述負(fù)樣本數(shù)據(jù)集包括負(fù)樣本圖文對；

根據(jù)所述正樣本數(shù)據(jù)集和所述負(fù)樣本數(shù)據(jù)集訓(xùn)練所述多模態(tài)預(yù)訓(xùn)練模型，所述多模態(tài)預(yù)訓(xùn)練模型包括跨模態(tài)對比學(xué)習(xí)模塊，所述跨模態(tài)對比學(xué)習(xí)模塊用于對所述正樣本圖文對和所述負(fù)樣本圖文對進(jìn)行圖文相似度對比學(xué)習(xí)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述構(gòu)建雙塔結(jié)構(gòu)的多模態(tài)預(yù)訓(xùn)練模型，包括：

將圖像編碼器和圖像動量編碼器均與第一全連接層連接；

將文本編碼器和文本動量編碼器均與第二全連接層連接；

將所述第一全連接層和所述第二全連接層均與多層感知機(jī)連接；

將所述多層感知機(jī)與跨模態(tài)對比學(xué)習(xí)模塊連接，得到雙塔結(jié)構(gòu)的多模態(tài)預(yù)訓(xùn)練模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述正樣本數(shù)據(jù)集和所述負(fù)樣本數(shù)據(jù)集訓(xùn)練所述多模態(tài)預(yù)訓(xùn)練模型，包括：

在當(dāng)前訓(xùn)練周期，將至少一個所述正樣本圖文對和多個所述負(fù)樣本圖文對輸入所述多模態(tài)預(yù)訓(xùn)練模型；

通過所述圖像編碼器獲得第一正樣本圖文對中圖像對應(yīng)的正樣本圖像特征向量；通過所述圖像動量編碼器獲得每個所述負(fù)樣本圖文對中圖像對應(yīng)的負(fù)樣本圖像特征向量，所述第一正樣本圖文對為輸入的任一正樣本圖文對；

通過所述第一全連接層將所述正樣本圖像特征向量和每個所述負(fù)樣本圖像特征向量拼接為圖像特征向量序列；

通過所述文本編碼器提取第一正樣本圖文對中文本對應(yīng)的正樣本文本特征向量；通過所述文本動量編碼器提取每個所述負(fù)樣本圖文對中文本對應(yīng)的負(fù)樣本文本特征向量；

通過所述第二全連接層將所述正樣本文本特征向量和每個所述負(fù)樣本文本特征向量拼接成文本特征向量序列；

通過所述多層感知機(jī)將所述圖像特征向量序列和所述文本特征向量序列映射至同一空間下；

根據(jù)所述正樣本圖像特征向量、所述正樣本文本特征向量、處于同一空間下的所述圖像特征向量序列和所述文本特征向量序列，通過所述跨模態(tài)對比學(xué)習(xí)模塊進(jìn)行圖文相似度對比學(xué)習(xí)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述正樣本圖像特征向量、所述正樣本文本特征向量、處于同一空間下的所述圖像特征向量序列和所述文本特征向量序列，通過所述跨模態(tài)對比學(xué)習(xí)模塊進(jìn)行圖文相似度對比學(xué)習(xí)，包括：

通過所述跨模態(tài)對比學(xué)習(xí)模塊分別計算所述正樣本圖像特征向量與所述文本特征向量序列中每個文本特征向量之間的相似度，得到圖-文相似度序列；

通過所述跨模態(tài)對比學(xué)習(xí)模塊分別計算所述正樣本文本特征向量與所述圖像特征向量序列中每個圖像特征向量之間的相似度，得到文-圖相似度序列；

根據(jù)所述圖-文相似度序列，通過檢索損失函數(shù)計算所述正樣本圖像特征向量與所述每個文本特征向量之間的檢索損失值，得到圖-文損失序列；

根據(jù)所述文-圖相似度序列，通過所述檢索損失函數(shù)計算所述正樣本文本特征向量與所述每個圖像特征向量之間的檢索損失值，得到文-圖損失序列；

根據(jù)所述圖-文損失序列和所述文-圖損失序列，確定當(dāng)前訓(xùn)練周期的最終損失值。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述確定當(dāng)前訓(xùn)練周期的最終損失值之后，還包括：

若已訓(xùn)練周期數(shù)大于或等于預(yù)設(shè)訓(xùn)練次數(shù)，則從已訓(xùn)練周期中確定最終損失值最小的訓(xùn)練周期，將最終損失值最小的訓(xùn)練周期對應(yīng)的模型參數(shù)及所述多模態(tài)預(yù)訓(xùn)練模型的模型結(jié)構(gòu)確定為最終訓(xùn)練好的多模態(tài)預(yù)訓(xùn)練模型；

若已訓(xùn)練周期數(shù)小于預(yù)設(shè)訓(xùn)練次數(shù)，則根據(jù)所述最終損失值調(diào)整模型參數(shù)，根據(jù)調(diào)整后的模型參數(shù)進(jìn)行下一周期的訓(xùn)練。

6.一種多模態(tài)預(yù)訓(xùn)練模型的應(yīng)用方法，其特征在于，包括：

獲取待檢測圖文對和多個負(fù)樣本圖文對；

通過權(quán)利要求1-5任一項所述的訓(xùn)練方法訓(xùn)練的多模態(tài)預(yù)訓(xùn)練模型對所述待檢測圖文對和所述多個負(fù)樣本圖文對進(jìn)行圖文相似度對比，確定所述待檢測圖文對包括的圖像和文本是否相互對應(yīng)。