[發明專利]一種基于異步分層圖神經網絡的法律文本多跳閱讀理解方法

在審

• 申請號: 202210627204.2
• 申請日: 2022-06-06
• 公開（公告）號: CN116383336A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 周煥來;曾靚;唐小龍;劉彤;喬磊崖;李家偉;張民;賈海濤
• 申請（專利權）人: 成都量子矩陣科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/126;G06F40/211;G06F40/279;G06N3/042;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于異步分層圖神經網絡的法律文本多跳閱讀理解方法，該算法包括以下步驟：

步驟1：將法律文本進行分片，輸入至預訓練模型中進行編碼。文本編碼模塊的主要作用是實現對文本和問題的encoder，得到雙方的表示向量，并作為下游任務的輸入，來更好地完成下游任務。

步驟2：通過Memory?Attention的模塊，對分片后的文本片段的嵌入向量進行全局信息的增強。標準的BERT實現將輸入大小限制為固定數量(通常為512)的tokens。然而實際的法律文本常常遠遠超過512個字的字數限制，針對這個問題提出了一種用于增強長文本的上下文依賴性的attention機制，即Memory?Attention機制。

步驟3：增強過的上下文信息和問題的嵌入向量進行雙向的attention，得到上下文和問題雙向編碼向量。

步驟4：上下文和問題雙向編碼向量經過異步分層圖網絡多跳推理模塊，在句子-句子層、句子-實體層、實體-實體層、實體-句子層進行異步更新。每一次迭代，在詞與問題進行交互后，節點根據不同層次的關系異步地相互傳遞消息。然后，問題也會通過句子節點進行更新，以便找到下一跳的線索。

步驟5：通過多任務模塊，獲得目標的答案和線索句子，以及整個推理的路徑。多任務聯合訓練是通過共享相同的上層任務，再各自獨享單獨的下層任務來實現的，可以避免針對不同的任務進行重復地編碼，提高模型的效率。

2.如權利要求1所屬方法，其特征在于，步驟2提出一種用于增強長文本的上下文依賴性的attention機制，即Memory?Attention機制。Memory?Attention的主要思想是對輸入進行兩次處理：第一次處理為將長文本輸入切分為一組短文本段，這些短文本段可以獨立并行地閱讀；第二次處理為編碼器再次讀取每個片段，然后使用其他片段的壓縮信息對其進行增強。Memory?Attention的關鍵就在于，如何保存來自所有段的壓縮信息。為此，本算法專門建立一個存儲模塊，用來保存所有段的壓縮信息。

3.如權利要求1所屬方法，其特征在于，步驟3中優化了傳統的attention機制。本算法將采用的attention機制并不將上下文編碼進固定大小的向量，而是根據前一層的表征計算每個time?step的attention及其attended?vector，計算query-to-context(Q2C)和context-to-query(C2Q)兩個方向上的attention，兩個方向上的attention可以相互補充，完善上下文和問題的向量，增加后續任務的準確率。

4.如權利要求1所屬方法，其特征在于，步驟4中的異步分層圖網絡多跳推理模塊，設計了一種多層圖神經網絡。使用文本的跨度的表示來初始化實體和句子節點，對于多層圖網絡的邊，我們定義了四種層次的關系，分別為句子-實體、實體-實體、實體-句子、句子-句子四種層次。每一次迭代，在詞與問題進行交互后，節點根據不同層次的關系異步地相互傳遞消息。然后，問題也會通過句子節點進行更新，以便找到下一跳的線索。

5.如權利要求1所屬方法，其特征在于，步驟5中通過答案抽取模塊、答案分類模塊和線索句子判別模塊進行多任務聯合預測。答案抽取模塊是為了完成答案輸出的任務。答案分類模塊是用來識別不同的任務類型，采用三個分類子模塊的聯合輸出作為分類結果，提高分類的準確率。線索句子判別模塊將線索句子判別作為一個二分類任務來實現，使用兩種網絡的聯合判別來提高分類的準確性。