[發明專利]一種神經語言模型的訓練方法、系統及存儲介質

在審

• 申請號: 202210355946.4
• 申請日: 2022-04-06
• 公開（公告）號: CN114911927A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 李鵬宇
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 付婧

1.一種神經語言模型的訓練方法，其特征在于，所述方法包括：

獲取待訓練任務數據集；

對所述待訓練任務數據集對應的預訓練模型進行參數配置；

提取高價值輔助數據集；

融合所述待訓練任務數據集和所述高價值輔助數據集得到第一數據集，并通過配置后的預訓練模型對所述第一數據集進行訓練；

保存訓練好的模型，以供下游任務應用。

2.根據權利要求1所述的神經語言模型的訓練方法，其特征在于，所述對所述待訓練任務數據集對應的預訓練模型進行參數配置，包括：

確定出所述待訓練任務數據集對應的預訓練模型所屬的神經語言模型；

根據所屬的神經語言模型的屬性進行參數配置，其中，所述參數配置至少包括對神經語言模型中編碼器的初始化參數配置。

3.根據權利要求2所述的神經語言模型的訓練方法，其特征在于，所述提取高價值輔助數據集，包括：

查看預先建立的數據庫所保存的數據集；

從所述保存的數據集中確定出與待訓練任務數據集相關的輔助樣本；

基于相關性權重從所述輔助樣本中提取高價值輔助數據集。

4.根據權利要求3所述的神經語言模型的訓練方法，其特征在于，所述融合所述待訓練任務數據集和所述高價值輔助數據集得到第一數據集，并通過配置后的預訓練模型對所述第一數據集進行訓練，包括：

融合所述待訓練任務數據集和所述高價值輔助數據集得到第一數據集作為訓練樣本；

通過配置后預訓練模型所屬的神經語言模型對所述訓練樣本進行訓練；

在訓練過程中監督所述神經語言模型；

當訓練達到預設次數時，停止訓練。

5.根據權利要求4所述的神經語言模型的訓練方法，其特征在于，所述在訓練過程中監督所述神經語言模型，包括：

監督所述神經語言模型的編碼器輸出層輸出的標簽；

確定輸出的標簽是否與所述待訓練任務數據集對應的任務匹配；

若不匹配，基于損失函數更新所述編碼器。

6.根據權利要求4所述的神經語言模型的訓練方法，其特征在于，所述保存訓練好的模型，以供下游任務應用，包括：

按照預設格式保存訓練好的模型，并將保存好的模型作為目標神經語言模型；

確定下游任務中對應的目標文本；

將所述目標文本輸入所述目標神經語言模型中，得到與目標文本相對應的分類結果。

7.根據權利要求6所述的神經語言模型的訓練方法，其特征在于，所述預設格式至少包括模型的來源、模型的名稱和保存日期。

8.一種神經語言模型的訓練系統，其特征在于，所述系統包括：

獲取模塊，用于獲取待訓練任務數據集；

配置模塊，用于對所述待訓練任務數據集對應的預訓練模型進行參數配置；

提取模塊，用于提取高價值輔助數據集；

訓練模塊，用于融合所述待訓練任務數據集和所述高價值輔助數據集得到第一數據集，并通過配置后的預訓練模型對所述第一數據集進行訓練；

保存模塊，用于保存訓練好的模型，以供下游任務應用。

9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器運行所述計算機程序以實現如權利要求1-7任一項所述方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1-7任一項所述方法的步驟。