[發明專利]一種基于Unilm優化語言模型的中文問題生成方法

在審

• 申請號: 202111244389.0
• 申請日: 2021-10-25
• 公開（公告）號: CN114328853A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 朱磊;皎玖圓;張亞玲;姬文江;晁冰;苗文青
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/126;G06F40/211;G06F40/247;G06F40/295;G06F40/58;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王丹

1.一種基于Unilm優化語言模型的中文問題生成方法，其特征在于，具體包括如下步驟：

步驟1，使用從網絡爬取的目標領域的語料對bert模型進行預訓練，獲得參數，并將所述參數同步遷移至Unilm語言模型；

步驟2，使用回憶機制和隨機替換實體詞機制對中文問答數據做數據增強處理，得到增強數據文本，將增強數據文本分為訓練集和測試集；

步驟3，構建包含相對位置遮蓋矩陣的編碼器層

將中文語料切分成字和詞，并根據這些字和詞在中文語料中的位置，將字和詞的頭索引和尾索引分別生成頭信息向量以及尾信息向量，設定字的頭索引和尾索引相等；在頭信息向量中詞的尾索引設置為0，在尾信息向量中詞的頭索引設置為0，將頭信息向量和尾信息向量彼此相減，生成四組位置矩陣；將四組位置矩陣拼接后輸入全連接神經網絡生成相對位置遮蓋嵌入矩陣，將相對位置遮蓋嵌入矩陣與編碼器自注意力矩陣相加得到優化的Transformer編碼器層；

步驟4，將步驟3融入了相對位置遮蓋嵌入矩陣的Transformer編碼器層替換Unilm語言模型中的最后一個編碼器層，形成優化后unilm語言模型；

步驟5，構建包含copy機制的特殊解碼器層，并替換在步驟4優化后的unilm語言模型的解碼器層；將步驟2得到的訓練集輸入優化后unilm語言模型進行訓練，獲得問題生成模型；

步驟6：將步驟2得到的測試集輸入問題生成模型，得到最終問題生成結果。

2.根據權利要求1所述的一種基于Unilm優化語言模型的中文問題生成方法，其特征在于，步驟1對所述bert模型采用雙向遮蓋機制和下半句預測機制兩個任務進行訓練。

3.根據權利要求1所述的一種基于Unilm優化語言模型的中文問題生成方法，其特征在于，步驟2具體如下：

所述回憶機制是使用機器翻譯將中文數據翻譯成其他語言，再將其回譯回中文數據；經過兩次翻譯后數據得到增強；

所述隨機替換實體詞機制是使用實體詞替換的方法，首先對中文問答數據做命名實體識別并進行同義詞替換；

將兩種數據增強方法獲得的增強文本數據分為訓練集和測試集。

4.根據權利要求1所述的一種基于Unilm優化語言模型的中文問題生成方法，其特征在于，步驟3中具體的拼接方法為：

其中，表示張量的拼接操作，分別表示頭信息向量的轉置減頭信息向量，頭信息向量轉置減尾信息向量，尾信息向量轉置減頭信息向量，尾信息向量轉置減尾信息向量；

將R_i，j輸入輸入全連接神經網絡生成相對位置遮蓋嵌入矩陣將與Transformer中自注意力矩陣相加得到融入了相對位置遮蓋嵌入矩陣的Transformer編碼器層。

5.根據權利要求1所述的一種基于Unilm優化語言模型的中文問題生成方法，其特征在于，步驟4具體為：

將所述Transformer編碼器層替換Unilm語言模型的最后的一個編碼器層，同時將Unilm語言模型最后一層的參數初始化為步驟1預訓練后的參數。

6.根據權利要求1所述的一種基于Unilm優化語言模型的中文問題生成方法，其特征在于，所述步驟5具體步驟為：

根據優化后Unilm語言模型的詞嵌入層和最后一個編碼器層的輸出計算解碼生成概率p_gen，解碼器解碼后作為問題生成模型的輸出，

ouput＝decoder((1-p_gen)*h_emb*w_cp+p_gen*h_de)

其中，ouput表示問題生成模型的輸出，decoder表示對括號中的內容進行解碼；h_emb為詞嵌入層輸出，h_de為最后一個編碼器層的輸入，w_cp表示解碼器中的權重矩陣。