[發明專利]一種神經語言網絡模型的訓練方法、裝置、設備及介質

在審

• 申請號: 201911366985.9
• 申請日: 2019-12-26
• 公開（公告）號: CN113052191A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 王亞平;王志剛;楊碩;劉雅婷;劉振宇;王澤皓;王芳
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李迪

1.一種神經語言網絡模型的訓練方法，其特征在于，包括：

獲取訓練樣本數據；

循環執行如下步驟，直至訓練得到的神經語言網絡模型滿足預設要求：

利用前一次訓練得到的神經語言網絡模型對未進行標注的訓練樣本數據進行預測，確定用于表征每個訓練樣本數據被識別的識別概率；

依據預設選擇策略，基于所述每個訓練樣本數據的識別概率，從未進行標注的訓練樣本數據中選擇部分訓練樣本數據請求進行人工標注；

獲取人工標注后的訓練樣本數據，并基于人工標注后的訓練樣本數據對所述前一次訓練得到的神經語言網絡模型進行訓練，調整所述前一次訓練得到的神經語言網絡模型的參數，得到新的神經語言網絡模型。

2.根據權利要求1所述的方法，其特征在于，所述基于人工標注后的訓練樣本數據對所述前一次訓練得到的神經語言網絡模型進行訓練，包括：

基于所有已人工標注的訓練樣本數據對所述前一次訓練得到的神經語言網絡模型進行訓練。

3.根據權利要求1所述的方法，其特征在于，所述利用前一次訓練得到的神經語言網絡模型對所述訓練樣本數據進行預測，包括：

首次對所述訓練樣本數據進行預測時，使用預訓練的神經語言網絡模型作為前一次訓練得到的神經語言網絡模型。

4.根據權利要求1所述的方法，其特征在于，所述預設選擇策略，包括：選擇識別概率小于預設概率閾值的數據；

所述依據預設選擇策略，基于所述每個訓練樣本數據的識別概率，從所述訓練樣本數據中選擇部分訓練樣本數據請求進行人工標注，包括：

從所述訓練樣本數據中選擇識別概率小于預設概率閾值的部分訓練樣本數據請求進行人工標注。

5.一種神經語言網絡模型的訓練裝置，其特征在于，包括：

獲取單元，用于獲取訓練樣本數據；

處理單元，用于循環執行如下步驟，直至訓練得到的神經語言網絡模型滿足預設要求：

利用前一次訓練得到的神經語言網絡模型對未進行標注的訓練樣本數據進行預測，確定用于表征每個訓練樣本數據被識別的識別概率；

依據預設選擇策略，基于所述每個訓練樣本數據的識別概率，從未進行標注的訓練樣本數據中選擇部分訓練樣本數據請求進行人工標注；

獲取人工標注后的訓練樣本數據，并基于人工標注后的訓練樣本數據對所述前一次訓練得到的神經語言網絡模型進行訓練，調整所述前一次訓練得到的神經語言網絡模型的參數，得到新的神經語言網絡模型。

6.根據權利要求5所述的裝置，其特征在于，所述處理單元，具體用于：

基于所有已人工標注的訓練樣本數據對所述前一次訓練得到的神經語言網絡模型進行訓練。

7.根據權利要求5所述的裝置，其特征在于，所述處理單元，具體用于：

首次對所述訓練樣本數據進行預測時，使用預訓練的神經語言網絡模型作為前一次訓練得到的神經語言網絡模型。

8.根據權利要求5所述的裝置，其特征在于，所述預設選擇策略，包括：選擇識別概率小于預設概率閾值的數據；

所述處理單元，具體用于：

從所述訓練樣本數據中選擇識別概率小于預設概率閾值的部分訓練樣本數據請求進行人工標注。

9.一種神經語言網絡模型的訓練設備，其特征在于，包括：至少一個處理器、至少一個存儲器以及存儲在所述存儲器中的計算機程序指令，當所述計算機程序指令被所述處理器執行時實現如權利要求1-4中任一項所述的神經語言網絡模型的訓練方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序指令，其特征在于，當所述計算機程序指令被神經語言網絡模型的訓練設備的處理器執行時實現如權利要求1-4中任一項所述的神經語言網絡模型的訓練方法。