[發(fā)明專利]一種基于深度學習的選擇題干擾項自動化生成方法及模型

在審

• 申請?zhí)枺?/td>: 202210369952.5
• 申請日: 2022-04-08
• 公開（公告）號: CN114861627A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設計）人: 鄭海濤;李明超;劉浩壯;江勇;夏樹濤;肖喜
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 深圳新創(chuàng)友知識產(chǎn)權代理有限公司 44223
• 代理人: 徐羅艷

1.一種基于深度學習的選擇題干擾項自動化生成模型，用于為閱讀理解的選擇題生成干擾項，其特征在于，包括：

答案編碼器，用于對選擇題的答案進行編碼，以獲得答案表示向量；

文章編碼器，用于對文章和問題進行聯(lián)合編碼，以獲得文章表示向量；

上下文推理注意力機制模塊，連接于所述答案編碼器和所述文章編碼器，用于合并文章上下文向量和答案上下文向量，以進行上下文推理，生成編碼器最終上下文向量；其中，所述文章上下文向量是由所述文章表示向量經(jīng)文章注意力機制而獲得，所述答案上下文向量是由所述答案表示向量經(jīng)答案注意力機制而獲得；

干擾項解碼器，連接于所述答案編碼器以利用所述答案編碼器的輸出進行解碼器初始化，以及，連接于所述上下文推理注意力機制模塊以對所述編碼器最終上下文向量進行解碼，生成干擾項。

2.如權利要求1所述的基于深度學習的選擇題干擾項自動化生成模型，其特征在于，所述文章編碼器對文章和問題進行聯(lián)合編碼，包括：

利用詞向量查找表將文章文本轉換為文章詞嵌入向量；

提取問題文本中的關鍵詞，進行關鍵詞標記，并生成問題關鍵詞標記向量；

將所述問題關鍵詞標記向量與所述文章詞嵌入向量進行拼接，并對拼接獲得的向量利用雙向LSTM網(wǎng)絡進行編碼。

3.如權利要求2所述的基于深度學習的選擇題干擾項自動化生成模型，其特征在于，還包括：利用門控自注意力機制對所述文章詞嵌入向量進行信息聚合。

4.如權利要求2所述的基于深度學習的選擇題干擾項自動化生成模型，其特征在于，問題文本中的關鍵詞是同時出現(xiàn)在問題和文章中的單詞。

5.如權利要求1所述的基于深度學習的選擇題干擾項自動化生成模型，其特征在于，所述答案編碼器對選擇題的答案進行編碼，包括：

先利用詞向量查找表將答案文本轉換為答案詞嵌入向量，然后使用雙向LSTM網(wǎng)絡對所述答案詞嵌入向量進行編碼，以獲得所述答案表示向量。

6.如權利要求1所述的基于深度學習的選擇題干擾項自動化生成模型，其特征在于，所述上下文推理注意力機制模塊包括：連接于所述答案編碼器輸出端的答案注意力機制模塊和連接于所述文章編碼器輸出端的文章注意力機制模塊；

所述答案注意力機制模塊的輸出和所述文章注意力機制模塊的輸出通過門控進行融合，以進行所述上下文推理。

7.如權利要求6所述的基于深度學習的選擇題干擾項自動化生成模型，其特征在于，還包括：在所述文章注意力機制模塊的輸出端使用復制機制，通過注意力得分來確定生成的單詞是從生成詞表中選擇還是從原文詞表中選擇。

8.如權利要求7所述的基于深度學習的選擇題干擾項自動化生成模型，其特征在于，還包括：最終概率分布計算模塊，用于根據(jù)干擾項解碼器生成單詞的生成得分和復制機制的復制得分計算在單詞表中所有單詞上的概率分布，之后取最大概率值的單詞作為生成的單詞。

9.一種基于深度學習的選擇題干擾項自動化生成方法，用于為閱讀理解的選擇題生成干擾項，其特征在于，利用權利要求1-8任一項所述的基于深度學習的選擇題干擾項自動化生成模型來實現(xiàn)；該方法包括：

訓練階段，訓練集有對應好的文章，問題，答案，干擾項，其中文章，問題，答案為源文本，作為模型的輸入；干擾項為目標文本，作為深度學習優(yōu)化的目標，使用教師強制策略進行模型訓練；

使用階段，利用文章、問題和答案作為輸入文本，利用訓練好的所述模型生成干擾項。

10.如權利要求9所述的基于深度學習的選擇題干擾項自動化生成方法，其特征在于，在使用階段，將輸入文本的起始符作為第一個字符輸入到解碼器中，使用集束搜索進行解碼，最終獲得干擾項文本。