[發明專利]基于多交互注意力的端到端多模態問答方法及系統

有效

• 申請號: 202110848497.2
• 申請日: 2021-07-27
• 公開（公告）號: CN113297370B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 張賓;孫喜民;高亞斌;賈江凱;鄭斌;王帥;李慧超;孫博
• 申請（專利權）人: 國網電子商務有限公司;國網電商科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30;G06T11/60;G06N3/04
• 代理公司: 成都華復知識產權代理有限公司 51298
• 代理人: 龐啟成

1.基于多交互注意力的端到端多模態問答方法，其特征是，包括：

(1)接收問題和背景知識，所述背景知識包括文本背景知識和圖像背景知識；

(2)從接收的背景知識中篩選出與問題相關的文本背景知識和圖像背景知識；

步驟(2)中采用tf-idf法進行文本背景知識的篩選，具體為：

采用詞頻-逆文檔頻率法分別計算文本問題與文本背景知識中各段落之間的關聯得分，選取關聯得分大于預設得分閾值的段落或關聯得分最高的d個段落作為問題相關的文本背景知識，得分閾值和d均為經驗值；

(3)對篩選出的文本背景知識進行編碼，獲得文本背景知識中各段落的特征表示；

(4)將篩選出的圖像背景知識解析為圖像特征表示，并構建可微場景圖；

所述將篩選出的圖像背景知識解析為可微場景圖，包括：

提取圖像背景知識中各圖像的物體框集合以及物體之間的關系框集合；

取置信度超過預設值的物體框和關系框，再取并集獲得候選的邊界框集合；

提取候選的邊界框集合中各邊界框的圖像特征表示；

基于候選的邊界框集合以及相應的圖像特征表示獲得可微場景圖；

(5)融合步驟(3)和(4)所獲段落的特征表示和可微場景圖，獲得背景知識的融合特征表示；本步驟具體包括：

利用注意力機制，從段落的特征表示中抽取與問題相關的文本重要特征；

利用注意力機制，從可微場景圖中抽取與問題相關的圖像重要特征；

將文本重要特征和圖像重要特征輸入多交互注意力模塊進行融合，獲得融合特征表示；(6)將融合特征表示、問題的特征表示、候選答案的特征表示輸入非線性層，計算各候選答案的預測概率，輸出預測概率最高的候選答案；

步驟(5)中，所述從段落的特征表示中抽取與問題相關的文本重要特征，包括：

利用非線性模型獲取問題與各段落之間的關聯評分；

利用關聯評分計算問題與各段落間的注意力權重；

利用注意力權重對各段落的特征表示進行加權求和，得文本重要特征；

步驟(5)中，所述從可微場景圖中抽取與問題相關的圖像重要特征，包括：

利用非線性模型獲取問題與可微場景圖的各候選邊界框之間的關聯評分；

利用關聯評分計算問題與各候選邊界框間的注意力權重；

利用注意力權重對各候選邊界框的特征表示進行加權求和，得圖像重要特征；

步驟(5)中，所述將文本重要特征和圖像重要特征輸入多交互注意力模塊進行融合，包括：

所述多交互注意力模塊包括T層記憶網絡，按如下方法迭代更新T次：

在第t層文本記憶網絡中，執行如下：

(1a)利用上一層文本記憶網絡輸出的文本注意特征和步驟(3)獲得的段落的特征表示，生成文本模態的注意力特征；第1層文本記憶網絡初始的文本注意特征采用文本重要特征；

(1b)利用上一層圖像記憶網絡輸出的圖像注意特征和步驟(3)獲得的段落的特征表示，生成跨模態的注意力特征；第1層圖像記憶網絡初始的圖像注意特征采用圖像重要特征；

(1c)將和輸入平均池化層，獲得第t層文本記憶網絡輸出的文本注意特征；

在第t層圖像記憶網絡中，執行如下：

(2a)利用上一層圖像記憶網絡輸出的圖像注意特征和步驟(4)獲得的圖像特征表示，生成視覺模態的注意力特征；

(2b)利用上一層文本記憶網絡輸出的文本注意特征和步驟(4)獲得的圖像特征表示，生成跨模態的注意力特征；

(2c)將和輸入平均池化層，獲得第t層圖像記憶網絡輸出的圖像注意特征；

(3)步驟(1a)- (1c)以及步驟(2a)- (2c)進行完T次迭代后，將第T層文本記憶網絡輸出的文本注意特征和第T層圖像記憶網絡輸出的圖像注意特征輸入深層神經網絡解碼器進行融合，獲取背景知識的融合特征表示。