[發明專利]一種基于深度學習的選擇題干擾項自動化生成方法及模型

在審

• 申請號: 202210369952.5
• 申請日: 2022-04-08
• 公開（公告）號: CN114861627A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 鄭海濤;李明超;劉浩壯;江勇;夏樹濤;肖喜
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 徐羅艷

本發明公開了一種基于深度學習的選擇題干擾項自動化生成方法及模型，模型包括：答案編碼器，用于對選擇題的答案進行編碼，以獲得答案表示向量；文章編碼器，用于對文章和問題進行聯合編碼，以獲得文章表示向量；上下文推理注意力機制模塊，連接于答案編碼器和文章編碼器，用于合并文章上下文向量和答案上下文向量，以進行上下文推理，生成編碼器最終上下文向量；文章上下文向量是由文章表示向量經文章注意力機制而獲得，答案上下文向量是由答案表示向量經答案注意力機制而獲得；干擾項解碼器，連接于答案編碼器以利用答案編碼器的輸出進行解碼器初始化，以及連接于上下文推理注意力機制模塊以對所述編碼器最終上下文向量進行解碼，生成干擾項。

技術領域

本發明涉及計算機與人工智能技術領域，具體涉及一種基于深度學習的閱讀理解多項選擇題干擾項自動化生成方法及模型。

背景技術

隨著深度學習技術的發展，越來越多的方面應用到深度學習的技術。其中深度學習在自然語言生成(NLG)領域中獲得了巨大成功。自然語言生成是根據一段源文本生成特定需要的目標文本，其包含豐富的子任務，例如包含機器翻譯、文本摘要、詩歌生成、問題生成、干擾項生成等任務。其中干擾項生成任務是該領域一個新興的任務，其目的在于為閱讀理解多項選擇題生成具有干擾性的錯誤選項。傳統的干擾項生成任務多是一些填空型的任務，大多只需要填寫一個單詞或短語，因而同義詞替換等一些基于規則的方法可以生成較為合適的內容。但是這種方式的局限性也很明顯，其只能生成較短的文本，并且需要構造大量的規則，因而生成的結果并不靈活。有一些研究者將神經網絡引入該任務中，通過神經網絡獲得詞向量并根據多種相似度進行替換。

近年來，有一些研究者研究閱讀理解多項選擇題的干擾項生成任務，該種場景下的干擾項是一個句子級別文本序列，需要對文章的內容進行理解后再生成一個流暢的句子，因而深度學習技術在干擾項生成任務中取得了一些效果。舉例而言，近些年有研究者提出了基于分層編碼的神經網絡模型，將文章的內容進行分層編碼，并對問題進行編碼，之后將獲得的向量作為輸入放入解碼器中，并使用自回歸方式每次生成一個單詞，最終形成一個句子。同時，研究人員設計了基于先驗知識的靜態注意力機制，即神經網絡在文章中關注預先設定好的內容。后有研究者設計了基于分層編碼的相互注意力網絡，在對于文章進行分層編碼的同時，增加了文章和問題之間的交互，同時增加干擾項和文章之間的語義相似損失。

雖然上述的方法在一定程度上可以生成包含完整語義的干擾項，但是生成的干擾項與答案差異較大，因而缺乏實際的干擾性。同時沒有考慮到輸入的各部分文本之間存在的一些邏輯推理關系，因而導致生成的干擾項邏輯性較差。

發明內容

本發明的主要目的在于克服現有技術的不足，提出一種基于深度學習的選擇題干擾項自動化生成模型，針對輸入的各部分文本設計上下文推理網絡，并針對答案進行建模，生成適合題目、具較強邏輯性且干擾性較強的選擇題干擾項文本，以解決現有技術生成的干擾項與答案差異大、不具備干擾性且邏輯性差的問題。

本發明為達上述目的，提出以下技術方案：

一種基于深度學習的選擇題干擾項自動化生成模型，用于為閱讀理解的選擇題生成干擾項，包括：答案編碼器，用于對選擇題的答案進行編碼，以獲得答案表示向量；文章編碼器，用于對文章和問題進行聯合編碼，以獲得文章表示向量；上下文推理注意力機制模塊，連接于所述答案編碼器和所述文章編碼器，用于合并文章上下文向量和答案上下文向量，以進行上下文推理，生成編碼器最終上下文向量；其中，所述文章上下文向量是由所述文章表示向量經文章注意力機制而獲得，所述答案上下文向量是由所述答案表示向量經答案注意力機制而獲得；干擾項解碼器，連接于所述答案編碼器以利用所述答案編碼器的輸出進行解碼器初始化，以及，連接于所述上下文推理注意力機制模塊以對所述編碼器最終上下文向量進行解碼，生成干擾項。