[發(fā)明專利]一種基于混合粒度匹配的圖文跨模態(tài)檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110373838.5
• 申請(qǐng)日: 2021-04-07
• 公開（公告）號(hào): CN113094533B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 盛律;徐東;魏云飛
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06F16/532
• 分類號(hào): G06F16/532;G06F40/126;G06F40/194;G06N3/04;G06N3/08
• 代理公司: 北京慕達(dá)星云知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 符繼超

1.一種基于混合粒度匹配的圖文跨模態(tài)檢索方法，其特征在于，包括：

構(gòu)建數(shù)據(jù)庫：構(gòu)建樣本數(shù)據(jù)庫，并將所述樣本數(shù)據(jù)庫中的樣本數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；

提取文本：將所述訓(xùn)練集中的文本輸入預(yù)先構(gòu)建的文本編碼模型進(jìn)行文本序列編碼，得到文本特征；

提取圖像：將所述訓(xùn)練集中的圖片輸入預(yù)訓(xùn)練的圖像特征提取模型，提取得到圖像區(qū)域特征；

構(gòu)建模型：構(gòu)建跨模態(tài)匹配模型，并分別將所述文本特征和所述圖像區(qū)域特征輸入所述跨模態(tài)匹配模型進(jìn)行訓(xùn)練，輸出匹配分?jǐn)?shù)；所述跨模態(tài)匹配模型包括圖像多跳圖神經(jīng)網(wǎng)絡(luò)、文本多跳圖神經(jīng)網(wǎng)絡(luò)、跨模態(tài)注意力機(jī)制、視覺側(cè)近鄰信息敏感匹配模塊以及文本側(cè)近鄰信息敏感匹配模塊；

所述圖像多跳圖神經(jīng)網(wǎng)絡(luò)的輸入端與所述圖像特征提取模型連接，所述文本多跳圖神經(jīng)網(wǎng)絡(luò)的輸入端與所述文本編碼模型連接，所述圖像多跳圖神經(jīng)網(wǎng)絡(luò)的輸出端和所述文本多跳圖神經(jīng)網(wǎng)絡(luò)的輸出端均與所述跨模態(tài)注意力機(jī)制的輸入端連接，所述跨模態(tài)注意力機(jī)制的輸出端分別與所述視覺側(cè)近鄰信息敏感匹配模塊和所述文本側(cè)近鄰信息敏感匹配模塊連接；

所述構(gòu)建模型步驟中，將所述文本特征和所述圖像區(qū)域特征輸入所述跨模態(tài)匹配模型進(jìn)行訓(xùn)練，輸出匹配分?jǐn)?shù)的過程具體包括：

將所述圖像區(qū)域特征輸入所述圖像多跳圖神經(jīng)網(wǎng)絡(luò)，獲得相應(yīng)的圖像混合粒度表達(dá)，并將所述文本特征輸入所述文本多跳圖神經(jīng)網(wǎng)絡(luò)，獲得相應(yīng)的文本混合粒度表達(dá)；

通過所述跨模態(tài)注意力機(jī)制將所述圖像混合粒度表達(dá)和所述文本混合粒度表達(dá)分別映射到對(duì)方的空間，得到圖像映射表示和文本映射表示；

將所述圖像區(qū)域特征和所述文本映射表示輸入所述視覺側(cè)近鄰信息敏感匹配模塊，計(jì)算得到視覺側(cè)匹配分?jǐn)?shù)，并將所述文本特征和所述圖像映射表示輸入所述文本側(cè)近鄰信息敏感匹配模塊，計(jì)算得到文本側(cè)匹配分?jǐn)?shù)；

將所述視覺側(cè)匹配分?jǐn)?shù)和所述文本側(cè)匹配分?jǐn)?shù)相加，得到最終的匹配分?jǐn)?shù)；

驗(yàn)證模型：通過所述驗(yàn)證集對(duì)訓(xùn)練好的所述跨模態(tài)匹配模型進(jìn)行驗(yàn)證，并提取最優(yōu)模型；

評(píng)估模型：通過所述測(cè)試集對(duì)所述最優(yōu)模型進(jìn)行測(cè)試，并對(duì)所述最優(yōu)模型的檢索精度進(jìn)行評(píng)估；

圖文檢索：利用測(cè)試和評(píng)估后的最優(yōu)模型進(jìn)行圖文跨模態(tài)檢索。

2.根據(jù)權(quán)利要求1所述的一種基于混合粒度匹配的圖文跨模態(tài)檢索方法，其特征在于，所述驗(yàn)證模型步驟執(zhí)行之前，還包括：

優(yōu)化模型：計(jì)算跨模態(tài)匹配模型訓(xùn)練過程的損失，并對(duì)所述文本編碼模型和所述跨模態(tài)匹配模型進(jìn)行優(yōu)化。

3.根據(jù)權(quán)利要求2所述的一種基于混合粒度匹配的圖文跨模態(tài)檢索方法，其特征在于，所述跨模態(tài)匹配模型訓(xùn)練過程的損失通過三元組損失函數(shù)計(jì)算得到，計(jì)算公式為：

式中，m為預(yù)設(shè)的三元組損失函數(shù)的邊界值，S(V,T)為匹配的圖像和文本的相似度分?jǐn)?shù)，S(V,T')和S(V',T)分別為圖像到文本方向和文本到圖像方向的不匹配的圖像和文本的相似度分?jǐn)?shù)，[·]₊表示取括號(hào)內(nèi)的值與0之間的最大值，V為圖像特征，T為與之匹配的文本特征，T'表示與V不匹配的文本特征，V'表示與T不匹配的圖像特征。

4.根據(jù)權(quán)利要求1所述的一種基于混合粒度匹配的圖文跨模態(tài)檢索方法，其特征在于，所述圖像映射表示的計(jì)算公式為：

式中，V^*為圖像映射表示，為圖像多跳圖神經(jīng)網(wǎng)絡(luò)輸出的圖像混合粒度表達(dá)，M為注意力映射矩陣；

所述文本映射表示的計(jì)算公式為：

式中，T^*為文本映射表示，為文本多跳圖神經(jīng)網(wǎng)絡(luò)輸出的文本混合粒度表達(dá)，M^T為注意力映射矩陣的轉(zhuǎn)置。

5.根據(jù)權(quán)利要求4所述的一種基于混合粒度匹配的圖文跨模態(tài)檢索方法，其特征在于，所述注意力映射矩陣具體為：

式中，M為注意力映射矩陣，為文本多跳圖神經(jīng)網(wǎng)絡(luò)輸出的文本混合粒度表達(dá)，為圖像多跳圖神經(jīng)網(wǎng)絡(luò)輸出的圖像混合粒度表達(dá)，W_t和W_v分別為線性映射矩陣，d為文本多跳圖神經(jīng)網(wǎng)絡(luò)和圖像多跳圖神經(jīng)網(wǎng)絡(luò)輸出的文本混合粒度表達(dá)和圖像混合粒度表達(dá)的維度。

6.根據(jù)權(quán)利要求1所述的一種基于混合粒度匹配的圖文跨模態(tài)檢索方法，其特征在于，所述圖文檢索步驟，具體包括：

將待查詢的圖片或文本分別進(jìn)行特征提取后輸入測(cè)試和評(píng)估后的最優(yōu)模型，輸出另一模態(tài)對(duì)應(yīng)的文本或圖片的匹配分?jǐn)?shù)；

將得到的文本或圖片的匹配分?jǐn)?shù)按照從大到小的順序進(jìn)行排序，并將文本或圖片對(duì)應(yīng)的原始內(nèi)容和匹配分?jǐn)?shù)按照排序順序輸出，得到檢索結(jié)果。