[發明專利]一種基于圖注意力機制的深度學習問答推理方法及裝置

在審

• 申請號: 202210336298.8
• 申請日: 2022-03-31
• 公開（公告）號: CN114706983A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 萬健;翟正偉;張蕾;黃杰;張麗娟;邵靄
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/332;G06F16/33;G06N3/04;G06N5/04;G06F40/295;G06F40/30
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

本發明公開了一種基于圖注意力機制的深度學習問答推理方法及裝置。本發明提出了一種基于圖點乘注意力算法的推理模型AGTF，針對問答中的多跳問題，提出了融合ALBERT與圖注意力機制(GAT)的混合模型，該模型包含了編解碼層和圖神經網絡預測層，經過實驗結果表明，與現有的多跳問答推理算法相比，AGTF模型有效的提高了多跳問答的推理能力。

技術領域

本發明屬于計算機應用技術領域，涉及一種融合ALBERT與圖注意力機制的問答推理方法。

背景技術

對自然語言進行推理和推理的能力是人工智能的重要方面。自動問答任務提供了一種可量化的客觀方法來測試人工智能系統的推理能力，正逐漸成為一種人與機器進行自然交互的新趨勢，能夠更準確地理解以自然語言描述的用戶問題，并依據用戶的真實意圖返回給用戶更精準的答案，它將成為下一代搜索引擎的新形態。

問答一直是自然語言處理領域的熱門話題，QA為評估NLP系統在語言理解和推理方面的能力提供了一種量化的方法，深度學習模型的發展使得機器閱讀理解領域和問答領域取得了長足的進步，甚至在包括SQuad在內的單段問答基準上超過了人類，但是以前的大多數工作都集中在從單一段落中尋找證據和答案，很少測試底層模型的深層推理能力，若要跨越機器和人類之間的問答鴻溝，面臨著提升模型推理能力的挑戰，單段問答模型傾向于在與問題匹配的句子中尋找答案，不涉及復雜的推理并且當單個文檔不足以找到正確答案時，仍然缺乏對多個文檔進行推理的能力。因此，多跳問答成為下一個需要攻克的前沿。

圖神經網絡已經成為深度學習領域最熾手可熱的方向之一。作為一種代表性的圖卷積網絡，圖注意力機制引入了注意力算法來實現更好的結點聚合，在圖注意力機制中，模型會通過線性變換來獲得表達能力更強的特征，以滿足深度學習中的各項下游任務。原始的圖注意力機制(GAT)通過由a∈R^2F+1參數化的單層前饋網絡來計算系數。而點積注意力機制是通過圖中各個節點表示學習后所獲取的，采用了與注意力機制相同的推理公式。通過學習鄰居的權重，圖注意力機制(GAT)可以實現對鄰居的加權聚合。因此，圖注意力機制(GAT)不僅能處理帶噪聲的鄰接點，注意力機制也賦予了模型可解釋性。

發明內容

本發明的目的旨在針對現有問答模型的不足，提供一種能有效應用于多條問答的問答推理模方法。

為了實現上述目的，本發明提供的技術是基于圖注意力機制的深度學習問答推理方法，包括以下步驟：

步驟1、對數據進行表征抽取：

BERT模型憑借MASKED LM、雙向Transformer encoder和句子級負采樣獲得了一個深度雙向編碼的描述了字符級、詞級、句子級甚至句間關系的特征的預訓練模型，而ALBERT模型的參數相比BERT而言小了很多，相反地，準確率比BERT高，所以使用ALBERT模型進行表征抽取。部分輸入的是問題Q和相關的段落P，輸出的是對應問題Q和段落的詞向量P，以及從中提取出的語義向量(SEMANTIC)。首先，將問題[Q₁,Q₂...Q_n]和段落[P₁,P₂...P_m]輸入模型。然后，ALBERT基于詞元(token)、類別(type)和位置(position)的嵌入為每個詞元生成表示，輸出的表示Q＝[q₁,q₂...q_n]∈R^m×d,P＝[p₁,p₂...p_m]∈R^n×d，同時語義向量(semantic)也隨表示輸出。在附圖2中演示了模型的架構。

步驟2、提取輸入句子的實體：