[發明專利]一種跨文檔長文本的分層融合閱讀理解方法及系統

有效

• 申請號: 202010765021.8
• 申請日: 2020-07-31
• 公開（公告）號: CN111858857B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 龐文君;楊猛;許紅波
• 申請（專利權）人: 前海企?？萍迹ㄉ钲冢┯邢薰?/a>
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 深圳市中科創為專利代理有限公司 44384
• 代理人: 彭西洋;謝亮

1.一種跨文檔長文本的分層融合閱讀理解方法，其特征在于，包括步驟：

S1、通過問題、文檔、問題類別編碼模塊分別對問題、文檔、問題類別進行編碼，得到對應問題表示、文檔表示，其中所述文檔表示包含問題關聯信息；

S2、通過多步推理與多文檔抽取模塊，對問題表示、文檔表示基于自注意力機制得到問題整合向量、文檔整合向量，經多步推理得到問題關聯的文檔和段落分數的抽取表示；

S3、通過多文檔長文本答案抽取多步融合模塊，從文檔和段落分數的抽取表示中經多步推理融合出一個最優的答案作為最終結果；

其中，步驟S1中所述問題類別經由問題分類模塊如下表示：

輸入的問題類別c，先將其表示成維度為n_c的One-hot向量，通過隨機賦值的嵌入矩陣得到問題類別的嵌入表示：

c^Q＝W_cc，

其中W_c為可訓練學習的嵌入矩陣；

其中，步驟S1中所述問題、文檔、問題類別編碼模塊采用如下方法獲得問題整合向量、文檔整合向量：

(1)將多文檔D按照段落劃分，設有N個文檔，每個文檔包含M個段落P，多文檔D_i＝{P_i1，P_i2，…，P_im}，每個段落長度為l_p，多文檔表示成一個N×M×l_p的文本序列；問題為Q，長度l_Q；

(2)多文檔和問題分別采用了最新的roberta預訓練語言模型，能根據下游任務進行微調，表示如下：

u_Q＝roberta(w_Q)；

(3)計算文檔和問題的關聯表示：采用基于注意力的聯合增廣表示，該表示在計算注意力權重時，從文檔中的詞和問題中的詞計算：

其中，W_l為線性變換矩陣，表示多文檔的中i文檔的第j個詞，表示問題的第k個詞，然后加權求和的方式的得到文檔的問題關聯表示：

(4)為了使兩者結合，采用Fusion方法計算，并做了多種變換，體現兩種表示之間的共性與差異性，計算方法如下：

經過編碼模塊分別得到了問題、文檔以及問題的類別的表示：

其中，所述通過多步推理與多文檔抽取模塊，對問題向量、文檔向量基于自注意力機制得到問題整合向量、文檔整合向量，具體方法如下：

對步驟S1中文檔表示、問題表示，做自注意力計算，得到自注意力整合向量表示，其中，文檔整合向量為：

通過上面的方法利用問題表示u^Q得到問題自注意力表示結合問題類別表示c^Q，兩者拼接得到問題整合向量r^Q，即：

其中，步驟S2中，所述經多步推理得到問題關聯的文檔和段落分數的抽取表示的具體方法如下：

(1)采用門控制單元單向的GRU網絡，每一步推理都有文檔整合向量r^D作為固定參照，問題的整合向量r^Q為推理的初始狀態，推理步驟如下，以第t步推理為例：

上述公式將問題的整合向量r^Q作為GRU的網絡的初始隱含狀態量，即h₀＝r^Q，W^qd為計算推理的隱含狀態量與文檔向量之間的相似度的雙線性參數矩陣，將文檔的整合向量作為輸入；

(2)重復以上推理步驟，隱含狀態量h_t不斷更新，每一步都結合上一層的隱含狀態量對文檔重新打分，經過T步推理后，得到最后文檔的分數：

(3)按照步驟(1)(2)對每個文檔的段落進行多步推理，N個文檔進行N次推理，每次推理步數為T步，得到段落分數表示第i個文檔的第j個段落分數。

2.根據權利要求1所述的跨文檔長文本的分層融合閱讀理解方法，其特征在于，在所述經多步推理得到問題關聯的文檔和段落分數的抽取表示中，多步推理涉及的模型定義如下損失，用以調整預測與實際文檔及段落的差異：

其中，L_D表示文檔抽取損失，L_P表示段落級別的損失，整體模型訓練時將加入到聯合損失中。