[發明專利]基于RNN的語言模型的訓練方法及相關裝置

在審

• 申請號: 202011470566.2
• 申請日: 2020-12-14
• 公開（公告）號: CN112487785A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 陳孝良;馮大航;葉森
• 申請（專利權）人: 北京聲智科技有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F16/35;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 姚璐華

1.一種基于RNN的語言模型的訓練方法，其特征在于，包括：

將一條長句子訓練數據的元素按照時間劃分為N部分，N≥2；

對于所述長句子訓練數據中還未計算Nce損失值的時間最早的部分，結合與其對應的一組負樣本，計算得到Nce損失值；

根據計算得到的Nce損失值，利用BPTT計算得到梯度；

根據所述梯度更新基于RNN的語言模型的參數；

判斷所述長句子訓練數據劃分的所有部分是否均計算了Nce損失值，若否，則轉入執行對于所述長句子訓練數據中還未計算Nce損失值的時間最早，結合與其對應的一組負樣本，計算得到Nce損失值的步驟，若是，則結束。

2.根據權利要求1所述的基于RNN的語言模型的訓練方法，其特征在于，在每次執行對于所述長句子訓練數據中還未計算Nce損失值的時間最早的部分，結合與其對應的一組負樣本，計算得到Nce損失值的步驟之前，還包括：

從預設的元素庫中隨機抽取若干元素作為與所述長句子訓練數據中還未計算Nce損失值的時間最早的部分對應的一組負樣本。

3.根據權利要求1所述的基于RNN的語言模型的訓練方法，其特征在于，在所述將一條長句子訓練數據的元素按照時間劃分為N部分的步驟之后，且在對于所述長句子訓練數據中還未計算Nce損失值的時間最早的部分，結合與其對應的一組負樣本，計算得到Nce損失值的步驟之前，還包括：

從預設的元素庫中隨機抽取元素生成M組負樣本，2≤M≤N；

將所述長句子訓練數據的N部分劃分為M組，且所述N部分劃分的M組中的各組與所述M組負樣本中的各組負樣本一一對應。

4.根據權利要求1～3中任意一項所述的基于RNN的語言模型的訓練方法，其特征在于，所述基于RNN的語言模型，具體為：

基于LSTM的語言模型。

5.一種基于RNN的語言模型的訓練裝置，其特征在于，包括：

元素劃分單元，用于將一條長句子訓練數據的元素按照時間劃分為N部分，N≥2；

損失值計算單元，用于對于所述長句子訓練數據中還未計算Nce損失值的時間最早的部分，結合與其對應的一組負樣本，計算得到Nce損失值；

梯度計算單元，用于根據計算得到的Nce損失值，利用BPTT計算得到梯度；

模型優化單元，用于根據所述梯度更新基于RNN的語言模型的參數；

判斷單元，用于判斷所述長句子訓練數據劃分的所有部分是否均計算了Nce損失值，若否，則轉入執行損失值計算單元，若是，則結束。

6.根據權利要求5所述的基于RNN的語言模型的訓練裝置，其特征在于，還包括：

第一負樣本生成單元，用于在每次執行所述損失值計算單元之前，從預設的元素庫中隨機抽取若干元素作為與所述長句子訓練數據中還未計算Nce損失值的時間最早的部分對應的一組負樣本。

7.根據權利要求5所述的基于RNN的語言模型的訓練裝置，其特征在于，還包括：

第二負樣本生成單元，用于從預設的元素庫中隨機抽取元素生成M組負樣本，2≤M≤N；以及將所述長句子訓練數據的N部分劃分為M組，且所述N部分劃分的M組中的各組與所述M組負樣本中的各組負樣本一一對應。

8.根據權利要求5所述的基于RNN的語言模型的訓練裝置，其特征在于，所述基于RNN的語言模型，具體為：

基于LSTM的語言模型。

9.一種可讀存儲介質，其上存儲有程序，其特征在于，所述程序被處理器執行時，實現如權利要求1～4中任一項所述的基于RNN的語言模型的訓練方法的各個步驟。

10.一種基于RNN的語言模型的訓練設備，其特征在于，包括：存儲器和處理器；

所述存儲器，用于存儲程序；

所述處理器，用于執行所述程序，實現如權利要求1～4中任一項所述的基于RNN的語言模型的訓練方法的各個步驟。