[發明專利]基于疑問詞分類器的神經網絡問題生成方法及生成系統

在審

• 申請號: 202110498928.7
• 申請日: 2021-05-08
• 公開（公告）號: CN113094489A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 陳光;顧鑫彤;李思;徐雅靜;徐蔚然
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京挺立專利事務所(普通合伙) 11265
• 代理人: 高福勇

1.基于疑問詞分類器的神經網絡問題生成方法，其特征是：該方法由以下步驟實現：

步驟一、將語料按照真實疑問詞的類別進行劃分，通過降采樣和過采樣使得每個類別的樣本數量達到均衡；

步驟二、對原始輸入文本中的答案詞兩邊添加答案位置標記符，獲得預處理后的數據；

步驟三、構建疑問詞分類器，所述疑問詞分類器由預訓練語言模型BERT和前饋神經網絡FNN組成；

步驟三一、預訓練語言模型BERT模型作為文本特征提取器，對于輸入原始文本提取特征向量C；

步驟三二、將BERT模型提取到的特征向量C輸入到FNN中，首先通過一個訓練參數矩陣W^c將特征向量C映射到一個維度為8的向量矩陣中，每個元素對應一個類別，再通過softmax函數，計算每個類別的概率，輸出0-7中的概率最大的類別的id標識P，用下式表示為：

P＝softmax(W^cC)

步驟四、將步驟二的預處理后的數據劃分為訓練集、評估集和測試集，分別用于對步驟三所述的疑問詞分類器進行訓練、評估和測試；

步驟五、采用步驟四測試后的疑問詞分類器進行預測，將預測后的疑問詞添加到所述原始輸入文本的句首，獲得預測后的文本；

步驟六、利用詞向量映射表，將步驟五獲得的預測后的文本映射為向量形式表示，輸入的文本即數值化為每個字符向量列連接成的數值矩陣；

步驟七、將步驟六獲得的數值矩陣輸入到神經網絡問題生成模型，輸出完整的問題。

2.根據權利要求1所述的基于疑問詞分類器的神經網絡問題生成方法，其特征在于：步驟六中，所述詞向量映射表采用Glove詞表。

3.根據權利要求1所述的基于疑問詞分類器的神經網絡問題生成方法，其特征在于：步驟七中，所述神經網絡問題生成模型為基于門控自注意力的段落級問題生成模型。

4.根據權利要求1-3所述的基于疑問詞分類器的神經網絡問題生成方法的生成系統，其特征是：該生成系統包括答案位置標注模塊、疑問詞分類器、疑問詞添加模塊以及神經網絡問題生成模型；

所述答案位置標注模塊用于對原始輸入文本中的答案詞兩邊添加答案位置標記符，獲得預處理后的數據；

所述疑問詞分類器由預訓練語言模型BERT和前饋神經網絡FNN組成；采用預訓練語言模型BERT對原始輸入文提取特征向量C，并將提取的特征向量C輸入至前饋神經網絡FNN中，

所述前饋神經網絡FNN對特征向量C進行映射，每個元素對應一個類別，再通過softmax函數，計算每個類別的概率，輸出0-7中的概率最大的類別的id標識；

采用預處理后的數據對疑問詞分類器進行訓練和測試；并將預測后的疑問詞通過疑問詞添加模塊添加到所述原始輸入文本的句首，獲得預測后的文本；

將所述預測后的文本映射為向量形式表示，即：將文本數值化為每個字符向量列連接成的數值矩陣；

所述數值矩陣輸入到所述神經網絡問題生成模型，通過該模型輸出完整的問題。