[發明專利]政務問題生成方法及裝置

在審

• 申請號: 202110890114.8
• 申請日: 2021-08-04
• 公開（公告）號: CN113569033A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 李羊
• 申請（專利權）人: 工銀科技有限公司;中國工商銀行股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 侯天印;郝博

1.一種政務問題生成方法，其特征在于，包括：

獲得政務數據，開源問答數據和自建政務問答文本數據；

將所述政務數據輸入預先建立的UNILM網絡模型進行訓練，得到預訓練模型，其中所述UNILM網絡模型根據Bert中文模型參數預先建立；

將所述開源問答數據和自建政務問答文本數據輸入預訓練模型進行微調，得到問題生成模型；

利用問題生成模型，進行政務問題生成。

2.如權利要求1所述的政務問題生成方法，其特征在于，將所述政務數據輸入預先建立的UNILM網絡模型進行訓練，得到預訓練模型，包括：

對所述政務數據進行分詞處理，得到輸入序列，所述輸入序列包含多個單詞；

確定輸入序列的表征聯合詞向量，位置向量和文本段信息；

將所述輸入序列的表征聯合詞向量，位置向量和文本段信息輸入預先建立的UNILM網絡模型，輸出文本向量表征，其中，所述UNILM網絡模型中包含多層Transformer網絡，在所述多層Transformer網絡中，每一層Transformer網絡包括：單向語言網絡模型，雙向語言網絡模型和端到端語言網絡模型。

3.如權利要求2所述的政務問題生成方法，其特征在于，將所述政務數據輸入預先建立的UNILM網絡模型進行訓練，得到預訓練模型，還包括：

得到輸入序列后，利用自注意力掩碼矩陣對所述輸入序列進行掩蓋；

確定輸入序列的表征聯合詞向量，位置向量和文本段信息，包括：確定掩蓋后輸入序列的表征聯合詞向量，位置向量和文本段信息。

4.如權利要求1所述的政務問題生成方法，其特征在于，將所述開源問答數據和自建政務問答文本數據輸入預訓練模型進行微調，包括：

根據所述開源問答數據和自建政務問答文本數據，確定源序列和目標序列；

利用自注意力掩碼矩陣對所述目標序列進行掩蓋；

將源序列和掩蓋后的目標序列輸入預訓練模型進行微調。

5.一種政務問題生成裝置，其特征在于，包括：

數據獲得模塊，用于獲得政務數據，開源問答數據和自建政務問答文本數據；

模型訓練模塊，用于將所述政務數據輸入預先建立的UNILM網絡模型進行訓練，得到預訓練模型，其中所述UNILM網絡模型根據Bert中文模型參數預先建立；

模型微調模塊，用于將所述開源問答數據和自建政務問答文本數據輸入預訓練模型進行微調，得到問題生成模型；

問題生成模塊，用于利用問題生成模型，進行政務問題生成。

6.如權利要求5所述的政務問題生成裝置，其特征在于，所述模型訓練模塊進一步用于：

對所述政務數據進行分詞處理，得到輸入序列，所述輸入序列包含多個單詞；

確定輸入序列的表征聯合詞向量，位置向量和文本段信息；

將所述輸入序列的表征聯合詞向量，位置向量和文本段信息輸入預先建立的UNILM網絡模型，輸出文本向量表征，其中，所述UNILM網絡模型中包含多層Transformer網絡，在所述多層Transformer網絡中，每一層Transformer網絡包括：單向語言網絡模型，雙向語言網絡模型和端到端語言網絡模型。

7.如權利要求6所述的政務問題生成裝置，其特征在于，所述模型訓練模塊進一步用于：

得到輸入序列后，利用自注意力掩碼矩陣對所述輸入序列進行掩蓋；

確定輸入序列的表征聯合詞向量，位置向量和文本段信息，包括：確定掩蓋后輸入序列的表征聯合詞向量，位置向量和文本段信息。

8.如權利要求5所述的政務問題生成裝置，其特征在于，所述模型微調模塊進一步用于：

根據所述開源問答數據和自建政務問答文本數據，確定源序列和目標序列；

利用自注意力掩碼矩陣對所述目標序列進行掩蓋；

將源序列和掩蓋后的目標序列輸入預訓練模型進行微調。