[發明專利]基于筆畫和自注意力機制的神經網絡中文問題生成系統

有效

• 申請號: 201910572796.0
• 申請日: 2019-06-28
• 公開（公告）號: CN110334196B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 黎偉;康琦
• 申請（專利權）人: 同濟大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/289;G06F40/30;G06F40/242;G06N3/088
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

1.一種基于筆畫和自注意力機制的神經網絡中文問題生成系統，用于根據被獲取的中文段落生成相應的中文問題，其特征在于，包括：

筆畫詞向量存儲部，用于存儲預先訓練得到的筆畫詞向量，

中文段落獲取部，用于獲取所述中文段落，

提示詞提取部，用于根據預設的提取方法從所述中文段落中提取一個或多個關鍵詞作為一個提示詞，

詞向量轉換組合部，用于將所述中文段落轉換為中文詞向量、將所述提示詞轉換為掩碼形式的提示詞掩碼、并將所述中文詞向量以及所述提示詞掩碼與所述筆畫詞向量組合形成組合向量，

問題詞生成部，用于根據所述組合向量生成多個問題詞，

中文問題組合輸出部，用于將所述問題詞依序組合為一個所述中文問題并進行輸出，實現全自動地對獲取的中文段落生成相應的中文問題，

其中，所述問題詞生成部包含一個預先訓練完成的中文問題神經網絡模型，用于計算組合向量并生成多個問題詞，該模型由基于答案的多樣性問題生成方法以及基于自注意力的復制算法構成，

所述問題詞生成部包括記憶向量生成單元、隱藏狀態向量生成單元、復制詞向量生成單元、生成詞向量生成單元以及問題詞生成單元，其中，所述記憶向量生成單元和所述隱藏狀態向量生成單元包含有采用所述基于答案的多樣性問題生成方法的計算機程序，

所述記憶向量生成單元將所述組合向量輸入一個雙層雙向的長短期記憶網絡從而生成一個融合了所述筆畫詞向量、所述中文段落以及所述提示詞掩碼的記憶向量，

所述隱藏狀態向量生成單元將所述記憶向量輸入至一個基于注意力機制的長短期記憶網絡從而生成隱藏狀態向量，

所述復制詞向量生成單元將所述隱藏狀態向量輸入基于自注意力機制的復制預測器從而生成得到復制詞向量，

所述生成詞向量生成單元將所述隱藏狀態向量輸入基于全連接層的生成預測器從而生成得到生成詞向量，

所述問題詞生成單元根據所述復制詞向量、所述生成詞向量以及復制門依次計算與各個所述提示詞相對應的所述問題詞，其中，所述筆畫詞向量為預先通過中文筆畫形態學表征方法訓練獲得，該中文筆畫形態學表征方法包括如下步驟：

步驟A1，獲取中文語料庫以及筆畫字典；

步驟A2，通過分詞方法分割所述中文語料庫從而獲取語料庫單詞，并構建所述語料庫單詞到所述筆畫字典；

步驟A3，通過多頭注意力機制訓練并得到所述筆畫詞向量，

所述步驟A3中，用S表示從所述筆畫字典中得到的筆畫向量，注意機制中的Q，K和V表示同源的筆畫結構向量，即：

式中，三個權重矩陣的初始化是隨機初始化，K^T表示矩陣K的轉置，d_k為縮放因子，該縮放因子是一個常數，一般為K的維度，

進一步，通過多頭注意力機制計算不同語義層次的所述筆畫結構向量之間的關系，即，

MulitiHead(Q,K,V)＝Concat(H₁,…,H_h)W^O???????(6)

式中，H_i表示第i個注意力值，分別表示第i個Q、K、V的權重矩陣，

通過重復公式(1)至公式(6)對原始語料進行訓練，最終得到與各個所述筆畫結構向量相對應的所述筆畫詞向量。