[發(fā)明專利]多模態(tài)預(yù)訓(xùn)練模型的訓(xùn)練方法、應(yīng)用方法及裝置

在審

• 申請?zhí)枺?/td>: 202110262221.6
• 申請日: 2021-03-10
• 公開（公告）號: CN112990297A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: 霍宇琦;張曼黎;劉光鎮(zhèn);盧志武;竇志成;金琴;趙鑫;宋睿華;文繼榮
• 申請（專利權(quán)）人: 北京智源人工智能研究院;中國人民大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F16/583;G06F16/33
• 代理公司: 北京辰權(quán)知識產(chǎn)權(quán)代理有限公司 11619
• 代理人: 尹倩倩

本申請?zhí)岢鲆环N多模態(tài)預(yù)訓(xùn)練模型的訓(xùn)練方法、應(yīng)用方法及裝置，該方法包括：構(gòu)建雙塔結(jié)構(gòu)的多模態(tài)預(yù)訓(xùn)練模型；獲取包括正樣本圖文對的正樣本數(shù)據(jù)集和包括負(fù)樣本圖文對的負(fù)樣本數(shù)據(jù)集；根據(jù)正樣本數(shù)據(jù)集和負(fù)樣本數(shù)據(jù)集訓(xùn)練多模態(tài)預(yù)訓(xùn)練模型，多模態(tài)預(yù)訓(xùn)練模型包括用于對正樣本圖文對和負(fù)樣本圖文對進(jìn)行圖文相似度對比學(xué)習(xí)的跨模態(tài)對比學(xué)習(xí)模塊。本申請中多模態(tài)預(yù)訓(xùn)練模型采用雙塔結(jié)構(gòu)和跨模態(tài)對比學(xué)習(xí)算法，對圖像和文本模態(tài)都構(gòu)建大量負(fù)樣本，模型表達(dá)能力強，提高了圖文對的處理精度。該模型計算圖文間的整體相似度，根據(jù)相似度判斷圖文是否對應(yīng)，基于圖文弱相關(guān)假設(shè)，更貼合實際應(yīng)用中圖文對中圖文間語義弱相關(guān)的實際情況。

技術(shù)領(lǐng)域

本申請屬于計算機應(yīng)用技術(shù)領(lǐng)域，具體涉及一種多模態(tài)預(yù)訓(xùn)練模型的訓(xùn)練方法、應(yīng)用方法及裝置。

背景技術(shù)

近年來，預(yù)訓(xùn)練模型已成為自然語言處理(NLP，Natural Language Processing)研究領(lǐng)域的熱門話題。涉及多種模態(tài)信息交互的多模態(tài)預(yù)訓(xùn)練模型適用于更多的應(yīng)用場景，如針對圖文對的多模態(tài)預(yù)訓(xùn)練模型逐漸受到廣泛關(guān)注。

目前，相關(guān)技術(shù)中提供了一些處理圖文對的多模態(tài)預(yù)訓(xùn)練模型，這些多模態(tài)預(yù)訓(xùn)練模型假設(shè)輸入的圖文對中文本與圖像之間存在強語義相關(guān)性，通過判斷文本中包括的單詞與圖像所展示的內(nèi)容之間是否存在語義對應(yīng)關(guān)系，來確定輸入的圖文對中的文本與圖像是否對應(yīng)。

但實際應(yīng)用中圖文對中圖像與文本之間不一定存在強語義相關(guān)性，上述相關(guān)技術(shù)通過單詞與圖像的語義對應(yīng)關(guān)系來判斷文本與圖像是否對應(yīng)，準(zhǔn)確性很低。

發(fā)明內(nèi)容

本申請?zhí)岢鲆环N多模態(tài)預(yù)訓(xùn)練模型的訓(xùn)練方法、應(yīng)用方法及裝置，本申請中多模態(tài)預(yù)訓(xùn)練模型采用雙塔結(jié)構(gòu)和跨模態(tài)對比學(xué)習(xí)算法，對圖像和文本模態(tài)都構(gòu)建大量負(fù)樣本，模型表達(dá)能力強，提高了圖文對的處理精度。該模型計算圖文間的整體相似度，根據(jù)相似度判斷圖文是否對應(yīng)，基于圖文弱相關(guān)假設(shè)，更貼合實際應(yīng)用中圖文對中圖文間語義弱相關(guān)的實際情況。

本申請第一方面實施例提出了一種多模態(tài)預(yù)訓(xùn)練模型的訓(xùn)練方法，包括：

構(gòu)建雙塔結(jié)構(gòu)的多模態(tài)預(yù)訓(xùn)練模型；

獲取正樣本數(shù)據(jù)集和負(fù)樣本數(shù)據(jù)集，所述正樣本數(shù)據(jù)集包括正樣本圖文對，所述負(fù)樣本數(shù)據(jù)集包括負(fù)樣本圖文對；

根據(jù)所述正樣本數(shù)據(jù)集和所述負(fù)樣本數(shù)據(jù)集訓(xùn)練所述多模態(tài)預(yù)訓(xùn)練模型，所述多模態(tài)預(yù)訓(xùn)練模型包括跨模態(tài)對比學(xué)習(xí)模塊，所述跨模態(tài)對比學(xué)習(xí)模塊用于對所述正樣本圖文對和所述負(fù)樣本圖文對進(jìn)行圖文相似度對比學(xué)習(xí)。

在本申請的一些實施例中，所述構(gòu)建雙塔結(jié)構(gòu)的多模態(tài)預(yù)訓(xùn)練模型，包括：

將圖像編碼器和圖像動量編碼器均與第一全連接層連接；

將文本編碼器和文本動量編碼器均與第二全連接層連接；

將所述第一全連接層和所述第二全連接層均與多層感知機連接；

將所述多層感知機與跨模態(tài)對比學(xué)習(xí)模塊連接，得到雙塔結(jié)構(gòu)的多模態(tài)預(yù)訓(xùn)練模型。

在本申請的一些實施例中，所述根據(jù)所述正樣本數(shù)據(jù)集和所述負(fù)樣本數(shù)據(jù)集訓(xùn)練所述多模態(tài)預(yù)訓(xùn)練模型，包括：

在當(dāng)前訓(xùn)練周期，將至少一個所述正樣本圖文對和多個所述負(fù)樣本圖文對輸入所述多模態(tài)預(yù)訓(xùn)練模型；

通過所述圖像編碼器獲得第一正樣本圖文對中圖像對應(yīng)的正樣本圖像特征向量；通過所述圖像動量編碼器獲得每個所述負(fù)樣本圖文對中圖像對應(yīng)的負(fù)樣本圖像特征向量；

通過所述第一全連接層將所述正樣本圖像特征向量和每個所述負(fù)樣本圖像特征向量拼接為圖像特征向量序列；

通過所述文本編碼器提取第一正樣本圖文對中文本對應(yīng)的正樣本文本特征向量；通過所述文本動量編碼器提取每個所述負(fù)樣本圖文對中文本對應(yīng)的負(fù)樣本文本特征向量；