[發(fā)明專利]一種基于模態(tài)推理圖神經(jīng)網(wǎng)絡(luò)的場景文本視覺問答方法

在審

• 申請?zhí)枺?/td>: 202110691232.6
• 申請日: 2021-06-22
• 公開（公告）號: CN113360621A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 郭欣雨
• 申請（專利權(quán)）人: 遼寧工程技術(shù)大學(xué)
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06K9/62;G06F40/35;G06N3/04
• 代理公司: 北京華夏正合知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11017
• 代理人: 韓登營

本發(fā)明公開了一種基于模態(tài)推理圖神經(jīng)網(wǎng)絡(luò)的場景文本視覺問答方法，包括：構(gòu)建多模態(tài)圖；將經(jīng)過預(yù)處理的問題詞嵌入與兩個獨立的權(quán)重相乘分別得到視覺問題特征和文本問題特征；將權(quán)重與特征節(jié)點對應(yīng)相乘即得到過濾后的向量；更準確地回答關(guān)于場景圖像中文本的問題；更新之后的節(jié)點與對應(yīng)問題特征相乘后連接輸出預(yù)測答案。本發(fā)明利用圖像中多種形式的信息幫助理解場景文本內(nèi)容，將場景文本圖片分別預(yù)處理成視覺對象圖和文本圖的形式，并且在問題自注意力模塊下過濾多余的信息；使用加入注意力的聚合器完善子圖之間相互的節(jié)點特征從而融合不同模態(tài)之間的信息，更新后的節(jié)點利用不同模態(tài)的上下文信息為答疑模塊提供了更好的功能。

技術(shù)領(lǐng)域

本發(fā)明屬于視覺問答的技術(shù)領(lǐng)域，尤其涉及一種基于模態(tài)推理圖神經(jīng)網(wǎng)絡(luò)的場景文本視覺問答方法。

背景技術(shù)

深度學(xué)習使計算機視覺(CV)和自然語言處理(NLP)獲得巨大的進展，視覺和自然語言之間的跨領(lǐng)域?qū)W科已經(jīng)吸引了強烈的關(guān)注，如視覺問答(visual questionanswering，VQA)，視覺問答的主要目標就是讓計算機根據(jù)輸入的圖片和問題輸出一個符合自然語言規(guī)則且內(nèi)容合理的答案。針對一張?zhí)囟ǖ膱D片，如果想要有效的通過圖像中的視覺特征與問題中的語義特征相關(guān)聯(lián)從而推斷出問題的答案，需要讓視覺問答模型對圖片的內(nèi)容、問題的含義和意圖以及相關(guān)的常識有一定的理解。視覺問答任務(wù)涉及到細粒度識別、物體識別和對問題所包含文本的理解等多方面的技術(shù)。通常視覺問答模型由三個模塊構(gòu)成。特征提取模塊使用卷積神經(jīng)網(wǎng)絡(luò)提取圖片的特征，使用循環(huán)神經(jīng)網(wǎng)絡(luò)提取問題的特征；特征融合模塊將問題特征與圖片特征融合為一個能夠表征當前任務(wù)的抽象特征；答案分類模塊將融合后的特征作為輸入，對該特征進行分類，分類類別數(shù)由候選答案的數(shù)量決定。而最近提出的數(shù)據(jù)集TextVQA和ST-VQA都是帶有文字信息的場景圖片，數(shù)據(jù)集中每張圖像都帶有真實存在的文字語義并且需要理解圖像場景文本來回答問題。使用一般的視覺問答模型去處理，在這些數(shù)據(jù)集上普遍表現(xiàn)的效果并不好。針對帶有視覺、文本和問題信息特征的多模態(tài)數(shù)據(jù)集，目前更多的是使用Transformer或者使用圖神經(jīng)網(wǎng)絡(luò)(Graph NeuralNetwork，GNN)來將不同的模態(tài)信息融合在一起，其中，多模態(tài)圖神經(jīng)網(wǎng)絡(luò)MM-GNN使用圖神經(jīng)網(wǎng)絡(luò)將圖像表示為三個圖，并引入三個聚合器來引導(dǎo)消息從一個圖傳遞到另一個圖預(yù)測生成答案。

現(xiàn)有技術(shù)的MM-GNN用于回答需要閱讀的許多問題。給定一個包含可視對象和場景文本的圖像和一個問題，其目標是生成答案。MM-GNN分三個步驟回答了問題:(1)構(gòu)建構(gòu)建一個三層圖結(jié)構(gòu)，用于表示圖像中的三種模態(tài)，即視覺實體(包括文本和對象)的視覺模態(tài)、場景文本的語義模態(tài)和與數(shù)字相關(guān)的文本的數(shù)值模態(tài)，三個圖中節(jié)點的初始表示是由先驗得到的，例如從語料庫學(xué)習到的單詞嵌入和更快的RCNN特征。(2)MM-GNN用三個基于注意力的聚合器，這些聚合器根據(jù)兩個節(jié)點在圖像中的視覺外觀和布局信息以及問題來計算它們的相關(guān)性得分，通過圖間或圖內(nèi)的方式傳遞信息，它們可以引導(dǎo)一個子圖之間的信息流到另一個子圖或自身，依次動態(tài)更新節(jié)點的表示，更新后的表示包含更豐富、更精確的信息，使回答模型更容易注意到正確的答案。(3)答案預(yù)測模塊，利用這些特性輸出答案。

MM-GNN在聚合之前使用隱式的全連接圖沒有進行特征過濾，即沒有去掉無用或者冗余的特征，提取特征時會效果不好。在聚合時候使用三個聚合器去聚合特征，對于語義和語義集合和語義-數(shù)值聚合相比較視覺-語義聚合意義作用不大，消耗計算量過多。

發(fā)明內(nèi)容

基于以上現(xiàn)有技術(shù)的不足，本發(fā)明所解決的技術(shù)問題在于提供一種基于模態(tài)推理圖神經(jīng)網(wǎng)絡(luò)的場景文本視覺問答方法，利用圖像中多種形式的信息幫助理解場景文本內(nèi)容，利用不同模態(tài)的上下文信息為答疑模塊提供了更好的功能。

為了解決上述技術(shù)問題，本發(fā)明提供一種基于模態(tài)推理圖神經(jīng)網(wǎng)絡(luò)的場景文本視覺問答方法，包括以下步驟：

步驟1：構(gòu)建多模態(tài)圖；

步驟2：使用問題詞序列來生成自注意力權(quán)重，將經(jīng)過預(yù)處理的問題詞嵌入與兩個獨立的權(quán)重相乘分別得到視覺問題特征和文本問題特征；