[發(fā)明專利]一種基于多模態(tài)多層次統(tǒng)一交互的短語(yǔ)定位識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011127854.8
• 申請(qǐng)日: 2020-10-11
• 公開(kāi)（公告）號(hào): CN112269892B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 劉偲;余天予;惠天瑞;廖越;余志浩
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類(lèi)號(hào): G06F16/58
• 分類(lèi)號(hào): G06F16/58;G06F16/55;G06F16/33;G06V10/44;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于多模態(tài)多層次統(tǒng)一交互的短語(yǔ)定位識(shí)別方法，其特征在于，包括：

構(gòu)建預(yù)訓(xùn)練機(jī)器閱讀模型和預(yù)訓(xùn)練目標(biāo)檢測(cè)模型；

獲取圖片和針對(duì)所述圖片的文字說(shuō)明；

利用所述預(yù)訓(xùn)練機(jī)器閱讀模型提取所述文字說(shuō)明中各個(gè)短語(yǔ)基于上下文的文本特征；

利用所述預(yù)訓(xùn)練目標(biāo)檢測(cè)模型提取所述圖片中的多個(gè)圖像候選位置，并對(duì)所述圖像候選位置對(duì)應(yīng)的低維特征進(jìn)行優(yōu)化處理；

利用注意力算法模擬各個(gè)所述短語(yǔ)與各個(gè)所述圖像候選位置之間的交互；交互過(guò)程為：

上式中，公式(5)表示將圖像區(qū)域特征υ_i和文本單元特征w_j通過(guò)線性變化映射到同一線性空間中；s_ij表示第i個(gè)圖像區(qū)域?qū)Φ趈個(gè)短語(yǔ)的響應(yīng)度；

公式(7)表示將上面得到的響應(yīng)度s_ij分別按照?qǐng)D像區(qū)域和按照單詞進(jìn)行歸一化，從而得到圖像到文本的注意力圖A^V→L和文本到圖像的注意力圖A^L→V；最后利用這兩個(gè)注意力圖作為權(quán)重，得到圖像區(qū)域和單詞的跨模態(tài)上下文和然后將這一上下文信息和圖像區(qū)域或者單詞的原始特征合并，得到每個(gè)區(qū)域圖像和單詞的最終表示；為對(duì)第k個(gè)單詞響應(yīng)最高的top-3圖像區(qū)域中的隨機(jī)一個(gè)的圖像特征；

基于交互結(jié)果計(jì)算各個(gè)所述短語(yǔ)與所述圖像候選位置之間的特征相似度，并以所述特征相似度作為鍵值確定各個(gè)所述短語(yǔ)的定位決策結(jié)果；

利用深度集合模型對(duì)各個(gè)所述短語(yǔ)的定位決策結(jié)果進(jìn)行整合和正則化處理。

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)多層次統(tǒng)一交互的短語(yǔ)定位識(shí)別方法，其特征在于，所述預(yù)訓(xùn)練機(jī)器閱讀模型為在海量無(wú)標(biāo)注文本上訓(xùn)練得到的BERT模型。

3.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)多層次統(tǒng)一交互的短語(yǔ)定位識(shí)別方法，其特征在于，所述預(yù)訓(xùn)練目標(biāo)檢測(cè)模型為在Visual-Genome數(shù)據(jù)庫(kù)上預(yù)訓(xùn)練得到的，并使用ResNet-101作為backbone。

4.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)多層次統(tǒng)一交互的短語(yǔ)定位識(shí)別方法，其特征在于，利用局部注意力機(jī)制和全局注意力機(jī)制優(yōu)化所述圖像候選位置的低維特征。