[發明專利]一種圖像文本匹配的方法

在審

• 申請號: 202210394752.5
• 申請日: 2022-04-14
• 公開（公告）號: CN114743029A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 喬壯;金福生;袁野;王國仁;馬波
• 申請（專利權）人: 北京理工大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V30/19;G06V20/00;G06V10/40;G06V30/10;G06V30/18;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

本發明提供了一種圖像文本匹配的方法，包括：利用深度神經網絡分別提取多尺度的圖像特征和文本特征；利用自注意力機制方法計算多個尺度的全局相似性；進行節點級匹配和結構級匹配，利用結構級匹配結果計算多個尺度的局部相似性；根據計算出的多個尺度的全局相似性和局部相似性計算最終總相似性；進行監督學習模型訓練，根據損失函數更新模型參數，得到訓練后的模型；利用訓練后的模型計算輸入圖像和文本的最終總相似性，根據最終總相似性大小得到匹配的文本或圖像。本發明可以在網絡訓練完成的前提下更快速地找出匹配的圖像或文本；利用原始數據的多尺度特征以及更全面的相似性度量方法得到更準確的結果。

技術領域

本發明涉及智能匹配技術領域，具體涉及一種在圖像、文本多模態數據中根據一種模態匹配另一種模態的方法。

背景技術

在日常生活中，尤其是在訪問互聯網資源的過程中，圖像和文本是非常重要的兩個模態。圖像的搜索通常離不開文本描述，而根據圖像匹配到與其語義信息相近的文本對于相似圖像的查找也具有指導作用，因此圖像文本匹配，即計算圖像、文本間相似度的方法非常重要。傳統的方法不僅需要保存大量除數據本身之外的關系數據，同時也不能很好地應對處于動態變化的數據，而且每一次計算耗時很長，對于有實時性要求的場景也不適用。基于深度學習的圖像文本匹配方法通過分別提取圖像與文本的特征，對特征進行對齊后進行相似性的計算，在經過大量數據集的監督訓練后，得到的模型可以快速準確地在待處理數據中找出與圖像匹配的文本或與文本匹配的圖像。目前對于圖像文本匹配的深度學習方法已經有很多的技術，但是基本都存在不能全面考慮整體與局部的匹配的問題，而且對于圖像中關鍵目標尺寸差距較大的情況也很少有人關注。

因此，如何提供一種可以對圖像和文本之間進行多尺度特征以及更全面的相似性度量匹配方法是本領域技術人員亟需解決的問題。

發明內容

有鑒于此，本發明提出一種基于深度學習和多模態學習的圖像特征、文本特征提取，并進行整體和局部相似度匹配的方法。

為了實現上述目的，本發明采用如下技術方案：

一種圖像文本匹配的方法，包括構建模型步驟和模型匹配步驟：

所述構建模型步驟包括：

S1、利用深度神經網絡分別提取多尺度的圖像特征和文本特征，所述圖像與文本為有匹配標注的數據；

S2、利用自注意力機制方法計算圖像多尺度特征和文本多尺度特征的多個尺度的全局相似性；

S3、在圖像多尺度特征和文本多尺度特征之間依次進行節點級匹配和結構級匹配，利用結構級匹配結果計算多個尺度的局部相似性；

S4、根據計算出的多個尺度的全局相似性和局部相似性計算最終總相似性；

S5、重復S2-S4進行監督學習模型訓練，根據損失函數更新模型參數，得到訓練后的模型；

模型匹配步驟：

S6、利用訓練后的模型計算輸入圖像和文本的最終總相似性，根據最終總相似性大小得到匹配的文本或圖像。

優選的，所述S1包括圖像多尺度特征提取步驟：

將圖像輸入至Faster R-CNN模型，識別得到若干個圖像區域的檢測框；

利用ResNet模型對所述檢測框對應的圖像區域進行編碼，得到提取的視覺特征；

將所述視覺特征分別通過輸出維度為N個尺度的全連接層，輸出的矩陣即為圖像多尺度特征，N∈N+。

優選的，所述S1包括文本多尺度特征提取步驟：

通過賦予每個單詞一個唯一的編號，從而對句子進行單詞級令牌化，獲得句子向量；