[發明專利]基于多層次注意力機制的文本修改圖片網絡模型訓練方法

有效

• 申請號: 202010639352.7
• 申請日: 2020-07-06
• 公開（公告）號: CN111898456B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 宋井寬;葉芊;高聯麗
• 申請（專利權）人: 貴州大學;電子科技大學
• 主分類號: G06V30/413
• 分類號: G06V30/413;G06V10/44;G06K9/62;G06N3/04;G06N3/08;G06V10/80
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 楊浩林

本發明公開了一種基于多層次注意力機制的文本修改圖片網絡模型訓練方法，涉及計算機處理技術領域，該方法提出了用局部注意力網絡和全局注意力網絡，結合文本特征與圖片特征訓練文本修改圖片網絡模型，且在模型訓練的過程中，考慮了cycle loss，繼而利用最終得到的文本修改圖片網絡模型修改圖片時，能精確修改圖片的視覺屬性，不會對文本信息中未提及的視覺屬性進行修改；采用該訓練方法訓練出的模型，已在當前主流的數據集上進行了驗證，取得了當前最好的結果。

技術領域

本發明涉及計算機處理技術領域，具體而言，涉及一種基于多層次注意力機制的文本修改圖片網絡模型訓練方法。

背景技術

隨著視覺和語言交互領域的發展，文本修改圖片算法近些年取得了巨大的進步。作為圖片生產的一個分支，文本修改圖片算法把算法的重心放在如何挖掘圖片和文本的聯系，并使用文本來修改圖片的對應視覺屬性(例如修改圖片某一顏色)，它在現實應用當中也是應用廣泛，例如圖片編輯等等。相比較于傳統的圖片生成算法，文本修改圖片算法的目標是要求模型能夠同時理解圖片中的視覺屬性信息和給定的文本信息，在這些重要線索的前提之下進行推理，并最終根據文本的語義信息來修改圖片中對應的視覺屬性。如果要完成如上的要求，此任務將涉及到多個領域的知識，例如文本識別、圖片生成和多模態推理等等。因為其系統算法的復雜性，它現在是機器智能方面一個亟待解決的問題。

對于如何讓計算機正確理解圖片內容與文本內容的問題，當前大多數的文本修改圖像的任務都是基于生成對抗網絡，甚至同時采用好幾個生成對抗網絡進行學習。但是這樣的超大型網絡普遍存在訓練成本大，耗時長等問題。起初，文本修改圖片的方法修改圖片尺寸較小，圖片質量較低；為了增大尺寸，之后的方法采用增加卷積神經網絡的層數提取出分辨率更高的原始圖像信息進而生成更高分辨率的圖片，但是這些網絡通常具有復雜的網絡結構，并且對計算硬件要求高，導致于網絡訓練過程復雜，耗時長而且整個訓練過程比較不穩定。并且之前的一系列方法只使用了文本的全局信息來修改圖片，這對于精確修改圖片的視覺屬性是遠遠不夠的，之前的方法也沒有考慮如何更好的不修改文本信息里未提及的視覺屬性，例如背景等。

發明內容

本發明在于提供一種基于多層次注意力機制的文本修改圖片網絡模型訓練方法，其能夠緩解上述問題。

為了緩解上述的問題，本發明采取的技術方案如下：

一種基于多層次注意力機制的文本修改圖片網絡模型訓練方法，在模型訓練的每個epoch中，均包括：

獲取當前原始訓練圖片及其文本信息，以及與其圖片內容同類的隨機文本信息；

提取當前原始訓練圖片的視覺屬性特征，以及所述隨機文本信息的全局特征和局部特征；

利用全局注意力網絡對所述隨機文本信息的全局特征和當前原始訓練圖片的視覺屬性特征進行融合，得到融合特征Ⅰ；

對所述融合特征Ⅰ進行上采樣得到特征矩陣Ⅰ，將所述隨機文本信息的局部特征和所述特征矩陣Ⅰ輸入局部注意力網絡，輸出得到融合特征Ⅱ；

將所述融合特征Ⅱ和特征矩陣Ⅰ結合后，通過殘差塊輸入到上采樣網絡，輸出得到修改后的圖片Ⅰ；

將所述修改后的圖片Ⅰ和隨機文本信息作為一組訓練數據，當前原始訓練圖片及其文本信息作為一組訓練數據，當前原始訓練圖片和所述隨機文本信息作為一組訓練數據；

利用三組所述訓練數據對判別器和生成器進行訓練，其中，在生成器的訓練過程中，其損失計算過程包括cycle loss的計算；

訓練后的判別器和生成器組成當前epoch訓練好的文本修改圖片網絡模型。