[發明專利]一種自然語言模型的生成方法和計算機設備

在審

• 申請號: 202010521980.5
• 申請日: 2020-06-10
• 公開（公告）號: CN113779185A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 李超
• 申請（專利權）人: 武漢TCL集團工業研究院有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/211;G06F40/289;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 吳志益;謝松

1.一種自然語言模型的生成方法，其特征在于，所述方法包括：

初始神經網絡根據替換語句生成預測字符串標簽，其中，所述替換語句是將訓練數據中的語句的待替換字符串替換為目標字符串得到的，所述待替換字符串與所述待替換字符串對應的目標字符串之間的相似度滿足預設條件，所述訓練數據包括多組訓練語句組，每一組訓練語句組包括語句和第一真實標簽，所述第一真實標簽為用于反映待替換字符串的標識，所述預測字符串標簽為用于反映所述目標字符串為所述待替換字符串的概率的標識；

所述初始神經網絡根據所述預測字符串標簽和所述第一真實標簽，對所述初始神經網絡的參數進行修正，并繼續執行根據所述替換語句生成預測字符串標簽的步驟，直至滿足所述初始神經網絡的預設訓練條件，以得到已訓練的自然語言模型。

2.根據權利要求1所述的方法，其特征在于，所述語句包括兩個子語句，所述替換語句包括兩個替換子語句，所述每一組訓練語句組還包括第二真實標簽；所述初始神經網絡根據替換語句生成預測字符串標簽，包括：

初始神經網絡根據替換語句生成預測字符串標簽和上下文關系預測標簽，其中，所述第二真實標簽表示所述語句中兩個子語句的上下文關系，所述上下文關系預測標簽表示所述初始神經網絡預測的所述替換語句中兩個替換子語句的上下文關系；

相應的，所述初始神經網絡根據所述預測字符串標簽和所述第一真實標簽，對所述初始神經網絡的參數進行修正，并繼續執行根據所述替換語句生成預測字符串標簽的步驟，直至滿足所述初始神經網絡的預設訓練條件，以得到已訓練的自然語言模型，包括：

所述初始神經網絡根據所述預測字符串標簽、上下文關系預測標簽、所述第一真實標簽和所述第二真實標簽，對所述初始神經網絡的參數進行修正，并繼續執行根據替換語句生成預測字符串標簽和上下文關系預測標簽的步驟，直至滿足所述初始神經網絡的預設訓練條件，以得到已訓練的自然語言模型。

3.根據權利要求1或2所述的方法，其特征在于，所述將訓練數據中的語句的待替換字符串替換為目標字符串的過程，包括：

對所述語句進行分詞處理，以得到多個字符串，并在所述多個字符串中選取待替換字符串；

確定與所述待替換字符串之間的相似度滿足預設條件的目標字符串；

將所述待替換字符串替換為所述目標字符串，以確定所述語句對應的替換語句。

4.根據權利要求3所述的方法，其特征在于，所述確定與所述待替換字符串之間的相似度滿足預設條件的目標字符串，包括：

獲取初始神經網絡的初始詞數據庫，其中，所述初始詞數據庫包括多個候選字符串分別對應的多個候選詞向量，所述多個候選詞向量包括所述待替換字符串對應的待替換詞向量；

根據所述多個候選詞向量確定相似度集，其中，所述相似度集中包括多個候選詞向量中各非待替換詞向量分別與所述待替換詞向量之間的相似度，所述各非待替換詞向量為所述多個候選詞向量中除了所述待替換詞向量以外的各詞向量；

將滿足預設條件的相似度對應的候選字符串作為目標字符串。

5.根據權利要求4所述的方法，其特征在于，所述預設條件為：所述目標字符串的相似度為相似度隊列中前預設數量個相似度中的一個，其中，所述相似度隊列是按照相似度從高到低的順序對所述相似度集中的相似度進行排列得到的；

或者，所述預設條件為：所述目標字符串的相似度大于或等于預設閾值；

或者，所述預設條件為：所述目標字符串的相似度為所述相似度集中最大的相似度。

6.根據權利要求3所述的方法，其特征在于，所述初始神經網絡根據替換語句生成預測字符串標簽之前，還包括：

對所述替換語句進行預處理，以得到各輸入詞向量；

相應的，所述初始神經網絡根據替換語句生成預測字符串標簽，包括：

所述初始神經網絡根據所述各輸入詞向量生成預測字符串標簽。