[發明專利]一種圖像文本匹配的方法

在審

• 申請號: 202210394752.5
• 申請日: 2022-04-14
• 公開（公告）號: CN114743029A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 喬壯;金福生;袁野;王國仁;馬波
• 申請（專利權）人: 北京理工大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V30/19;G06V20/00;G06V10/40;G06V30/10;G06V30/18;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

1.一種圖像文本匹配的方法，其特征在于，包括構建模型步驟和模型匹配步驟：

所述構建模型步驟包括：

S1、利用深度神經網絡分別提取多尺度的圖像特征和文本特征，所述圖像與文本為有匹配標注的數據；

S2、利用自注意力機制方法計算圖像多尺度特征和文本多尺度特征的多個尺度的全局相似性；

S3、在圖像多尺度特征和文本多尺度特征之間依次進行節點級匹配和結構級匹配，利用結構級匹配結果計算多個尺度的局部相似性；

S4、根據計算出的多個尺度的全局相似性和局部相似性計算最終總相似性；

S5、重復S2-S4進行監督學習模型訓練，根據損失函數更新模型參數，得到訓練后的模型；

模型匹配步驟：

S6、利用訓練后的模型計算輸入圖像和文本的最終總相似性，根據最終總相似性大小得到匹配的文本或圖像。

2.根據權利要求1所述的圖像文本匹配的方法，其特征在于，所述S1包括圖像多尺度特征提取步驟：

將圖像輸入至Faster R-CNN模型，識別得到若干個圖像區域的檢測框；

利用ResNet模型對所述檢測框對應的圖像區域進行編碼，得到提取的視覺特征；

將所述視覺特征分別通過輸出維度為N個尺度的全連接層，輸出的矩陣即為圖像多尺度特征，N∈N+。

3.根據權利要求1所述的圖像文本匹配的方法，其特征在于，所述S1包括文本多尺度特征提取步驟：

通過賦予每個單詞一個唯一的編號，從而對句子進行單詞級令牌化，獲得句子向量；

將所述句子向量嵌入到多維的向量空間后通過雙向GRU得到文本特征向量；所述雙向GRU設置有N個，輸出N個尺度的文本特征向量。

4.根據權利要求1所述的圖像文本匹配的方法，其特征在于，所述S3中的節點級匹配為將圖像與句子中的單詞進行匹配的步驟，包括：

將圖像特征T與文本特征V進行融合，然后沿著視覺軸計算softmax函數，得到相似矩陣，即W＝softmax(λTV^T)，λ為溫度參數；

將所述相似矩陣作為權重參數將所有圖像特征整合為加權的圖像特征；

利用余弦相似性度量方法計算加權的圖像特征與文本特征的相似性，得到節點級匹配結果。

5.根據權利要求1所述的圖像文本匹配的方法，其特征在于，所述S3中的結構級匹配為將圖像與句子中的短語進行匹配的步驟，包括：

解析文本句子中各單詞之間的語義依賴性，將文本特征構建為一個無向稀疏圖，有依賴關系的單詞節點記為相鄰節點；

計算得到單詞表示之間的相似矩陣，得到無向稀疏圖中邊的權重；

利用圖卷積神經網絡整合相似矩陣表征的鄰域匹配向量，更新相似矩陣中的節點。

6.根據權利要求1所述的圖像文本匹配的方法，其特征在于，所述S3中利用結構級匹配結果計算局部相似性具體包括：將圖卷積神經網絡的結果送入全連接層并計算l₂-范數即得到局部相似性。

7.根據權利要求1所述的圖像文本匹配的方法，其特征在于，所述S4包括：

將所述全局相似性和所述局部相似性拼接為一個矩陣后送入全連接層，得到一個尺度下的總相似性；

對多個尺度下的總相似性進行加權求和，得到最終總相似性。

8.根據權利要求1所述的圖像文本匹配的方法，其特征在于，所述S6的模型輸出為：一個行數等于圖像數/文本數，相應的列數等于文本數/圖像數的矩陣，矩陣中的每個值即代表該值所在行代表的圖像/文本與該值相應的所在列代表的文本/圖像計算得到的相似性。