[發明專利]一種基于異步分層圖神經網絡的法律文本多跳閱讀理解方法

在審

• 申請號: 202210627204.2
• 申請日: 2022-06-06
• 公開（公告）號: CN116383336A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 周煥來;曾靚;唐小龍;劉彤;喬磊崖;李家偉;張民;賈海濤
• 申請（專利權）人: 成都量子矩陣科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/126;G06F40/211;G06F40/279;G06N3/042;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出了一種基于異步分層圖神經網絡的法律文本多跳閱讀理解方法，所述方法包括以下步驟：將法律文本進行分片，輸入預訓練模型中進行編碼；通過Memory?Attention的模塊，對分片后的文本片段的嵌入向量進行全局信息的增強；在問題也送入編碼層后，增強過的上下文信息和問題的嵌入向量將會進行雙向的attention，得到上下文和問題雙向編碼向量；上下文和問題雙向編碼向量經過異步分層圖網絡多跳推理模塊，在各層進行異步更新；通過多任務模塊獲得目標的答案和線索句子，以及整個推理路徑。本發明提高了機器閱讀理解問答算法在多步推理上的準確率，并提高了其推理鏈的可解釋性，從而優化了機器閱讀理解問答，對實現司法智能化有著非常重要的作用。

技術領域

本發明涉及一種基于異步分層圖神經網絡的法律文本多跳閱讀理解方法，屬于自然語言處理領域。

背景技術

機器閱讀理解的一般架構如圖2所示，從圖中可以看出，編碼層的作用是對文章和問題進行底層的處理，將文本轉化成數字編碼。交互層的作用是讓模型聚焦文章和問題的語義聯系，借助于文章的語義分析加深對問題的理解，同時借助于問題的語義分析加深對文章的理解。輸出層是通過語義分析結果和答案的類型生成模型來得到最后的輸出結果。現有的機器閱讀理解模型大多都是在此框架下，在各層使用不同的算法，來獲得表現更加優異的模型。

本發明在此框架下，改進了子結構，并豐富輸出層，使其能適用于多種任務類型的問答。

發明內容

本發明提出一種基于異步分層圖神經網絡的法律文本多跳閱讀理解方法。本發明的目的在于提高了機器閱讀理解問答算法在多步推理上的準確率，并提高了其推理鏈的可解釋性，從而優化了機器閱讀理解問答，對實現司法智能化有著非常重要的作用。

本發明技術方案如下：

首先將法律文本進行分片，輸入至預訓練模型中進行編碼；

為了解決分片后文本片段間遠程注意力不足的問題，將加入一個MemoryAttention的模塊，對分片后的文本片段的嵌入向量進行全局信息的增強；

在問題也送入編碼層后，增強過的上下文信息和問題的嵌入向量將會進行雙向的attention，得到上下文和問題雙向編碼向量；

上下文和問題雙向編碼向量經過異步分層圖網絡多跳推理模塊，在句子-句子層、句子-實體層、實體-實體層、實體-句子層進行異步更新；

通過多任務模塊，獲得目標的答案和線索句子，以及整個推理的路徑。

本發明的有益效果為：目前的機器閱讀理解問答算法對于解決只需要單步推理的問題已經能達到很高的準確率，但是在需要多步推理閱讀理解問答上的表現還尚有進步的空間，需要多步推理才能得到答案的閱讀理解問答也叫多跳閱讀理解。同時，大部分端到端的閱讀理解模型缺乏對預測過程的可解釋性的推理鏈。本發明提高了機器閱讀理解問答算法在多步推理上的準確率，并提高了其推理鏈的可解釋性，從而優化了機器閱讀理解問答，對實現司法智能化有著非常重要的作用。

附圖和附表說明

圖1為MLTRC–AHGNN算法網絡結構；

圖2為機器閱讀理解一般流程；

圖3為BERT的模型結構；

圖4為Memory?Attention的模型結構；

圖5為Bidirectional?Attention的具體模型架構圖；

圖6為異步推理過程。

具體實施方式

下面將會描述該算法的思路，并給出算法的具體步驟。

步驟一：將法律文本進行分片，輸入至預訓練模型中進行編碼。