[發(fā)明專利]一種基于概念交互和關聯(lián)語義的文本視覺問答系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202010584144.1
• 申請日: 2020-06-24
• 公開（公告）號: CN111858882B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設計）人: 高聯(lián)麗;李向鵬;宋井寬
• 申請（專利權）人: 貴州大學;電子科技大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/532;G06F16/332;G06V30/19;G06V10/82;G06V20/62;G06V30/416;G06N3/04;G06N3/08
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 楊浩林

1.一種基于概念交互和關聯(lián)語義的文本視覺問答系統(tǒng)，其特征在于，包括物體位置提取模塊、與所述物體位置提取模塊連接的第一全連接層、文本信息提取模塊、與所述文本信息提取模塊連接的第二全連接層、分別與所述第一全連接層以及第二全連接層連接的OCR-object圖卷積網(wǎng)絡、與所述OCR-object圖卷積網(wǎng)絡連接的多門步機制圖卷積網(wǎng)絡以及與所述多門步機制圖卷積網(wǎng)絡連接的轉換器網(wǎng)絡，所述轉換器網(wǎng)絡與雙向轉換器表征編碼器BERT連接；

所述物體位置提取模塊，用于利用預訓練的Faster-RCNN快速區(qū)域物體檢測器模型提取圖像中的視覺特征及其對應的位置信息；

所述第一全連接層，用于將所述視覺特征及其對應的位置信息進行融合，得到物體的位置信息；

所述文本信息提取模塊，用于利用OCR識別模型檢測圖像中的文本信息及其對應的位置信息；

所述第二全連接層，用于對所述文本信息及其對應的位置信息進行融合，得到文本的位置信息；

所述OCR-object圖卷積網(wǎng)絡，用于根據(jù)物體的位置信息和文本的位置信息，提取物體的位置信息和文本的位置信息的重疊關系；

所述多門步機制圖卷積網(wǎng)絡，用于對重疊關系進行編碼；

所述雙向轉換器表征編碼器BERT，用于提取問題文本的問題信息；

所述轉換器網(wǎng)絡，用于根據(jù)問題信息以及編碼信息得到文本視覺回答；

其中，概念交互為將視覺圖像信息，文本信息，問題信息和之前的輸出這四個概念共同輸入到概念交互轉換器網(wǎng)絡當中，具體的計算過程如公式所示：

F_t^joint＝[X_J,Q,P_t-1]

F_t^final＝Transformer(F_t^joint)

其中，最終執(zhí)行J步之后得到的融合特征為X_J，Q表示編碼的之后的問題特征，P_t-1表示前t-1個答案的前t-1步的輸出，F(xiàn)_t^final表示經(jīng)過轉換器編碼之后的第t步特征，Transformer表示多層轉換器網(wǎng)絡，F(xiàn)_t^joint表示經(jīng)過轉換器編碼之前的第t步特征；

多門步機制圖卷積網(wǎng)絡由單步門機制的圖卷積網(wǎng)絡執(zhí)行J步構成；

所述單步門機制的圖卷積網(wǎng)絡的表達式如下：

X_t+1＝GatedGCN(A,X_t)

其中，X_t表示第t步的門控圖卷積網(wǎng)絡的輸入，X_t+1表示第t步的門控圖卷積網(wǎng)絡的輸出和t+1步門控圖卷積網(wǎng)絡的輸入，A表示OCR-object關聯(lián)圖,GatedGCN單步的門控圖卷積網(wǎng)絡。

2.根據(jù)權利要求1所述的基于概念交互和關聯(lián)語義的文本視覺問答系統(tǒng)，其特征在于，所述OCR-object圖卷積網(wǎng)絡包括OCR-OCR子圖，object-object子圖以及OCR-object子圖；

所述OCR-OCR子圖，用于對圖像中檢測到的文本與文本之間的關系進行建模，建立任意兩個文本之間的聯(lián)系；

所述object-object子圖，用于對圖像中檢測到的物體與物體之間的關系進行建模，建立任意兩個物體之間的聯(lián)系；

所述OCR-object子圖，用于對文本和物體之間的關系進行建模，得到物體的位置信息和文本的位置信息的重疊關系。