[發明專利]一種基于雙過程認知理論的知識圖譜視覺問答方法

在審

• 申請號: 202110374169.3
• 申請日: 2021-04-07
• 公開（公告）號: CN115186072A
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 何小海;劉露平;王美玲;卿粼波;陳洪剛;吳小強;滕奇志
• 申請（專利權）人: 四川大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/36;G06F16/532;G06V10/25;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于雙過程認知理論的知識圖譜視覺問答方法，包含以下步驟：(1)問題?圖片聯合表征，對輸入問題和圖片，使用預訓練模型BERT和Faster?RCNN分別提取問題和圖片特征，然后送入雙流Transformer模型學習問題?圖片的聯合表征；(2)事實圖和語義圖構建，針對每個問題?圖片對，分別構建事實圖和語義圖，事實圖基于語義匹配的方式從知識庫中檢索事實構建，語義圖通過圖像描述方式構建；(3)證據聚合，首先利用圖推理網絡從兩個圖中分別選擇證據，然后基于跨模態圖推理網絡從語義圖中聚合證據到事實圖；(4)答案推理，事實圖中的節點進行二分類得到答案。本發明的方法在教育、娛樂等領域有廣闊應用前景。

技術領域

本發明設計了一種基于雙過程認知理論的知識圖譜視覺問答方法，屬于自然語言處理和計算機視覺領域的交叉。

背景技術

讓智能體具備通過分析視覺和語言信息來理解世界的能力是近年來計算機視覺與自然語言處理技術相結合的一個熱點研究課題。相關研究推動了許多應用的發展，如視覺問答(VQA)、圖像索引及圖像描述等。其中，VQA是一項具有挑戰性的任務，它要求模型基于給定的圖像回答任意問題。為了推動VQA技術的發展，近年來相關學者做了大量的前期研究工作，并取得了較大的進展。然而，現有的VQA方法聚焦于根據圖片內容來回答問題，而無法回答一些需要結合常識才能回答的問題。

為了推動該領域的發展，Wang等人提出了基于事實的視覺問答(Fact-basedVisual Question Answering,FVQA)任務(P.Wang,Q.Wu,C.Shen,A.Dick and A.van denHengel,FVQA:Fact-Based Visual Question Answering,in IEEE Transactions onPattern Analysis and Machine Intelligence,vol.40,no.10,pp.2413-2427,1Oct.2018,doi:10.1109/TPAMI.2017.2754246)。與此同時，他們還發布了一個新的數據集，該數據集為每個問題-答案對提供了額外的支持事實并要求模型通過對圖像和外部知識的聯合分析來回答問題。Wang等人的研究首先對句子進行解析然后映射到知識圖譜中，然后利用關鍵字匹配來找到正確的答案。這種方法存在明顯的缺陷，及當問題中沒有提到明顯的視覺概念或者存在同義詞和同形異義詞時，這種方法將變得無效。因此后續有學者提出了一種基于語義學習的檢索方法，將圖像-問題-視覺概念和候選事實投射到一個學習的嵌入空間中，并通過計算相應的距離來找到支撐事實。然而這種方法一次評估一個事實節點，因此效率較低，此外該方法無法利用外部知識庫的結構信息。為了解決這個問題，Narasimhan等人提出了一種基于圖推斷的方法，通過在整個圖上進行推理來選擇答案(Narasimhan M,Schwing AG.Straight to the facts:Learning knowledge baseretrieval for factual visual question answering[C]//Proceedings of theEuropean conference on computer vision(ECCV).2018:451-468.)。該方法構造一個實體圖，圖中的每個節點由實體、圖像和問題表示的連接表示，然后利用圖卷積網絡進行消息的聚合后得到相應的節點更新特征，最后基于該更新的節點特征進行答案的預測。由于問題只關注于部分視覺內容，這種方法不可避免地引入了噪聲信息。