[發明專利]文本處理模型訓練方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202011447964.2
• 申請日: 2020-12-11
• 公開（公告）號: CN112528637A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 吳天博;王健宗;程寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/274
• 分類號: G06F40/274;G06F3/023
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 吳平

1.一種文本處理模型訓練方法，其特征在于，所述方法包括：

獲取第一待訓練文本樣本集；

基于所述第一待訓練文本樣本集分別執行模型訓練得到不同輸入法對應的五筆詞向量模型以及拼音詞向量模型；

獲取第二待訓練文本樣本集以及預訓練的語言模型；

基于所述語言模型、所述五筆詞向量模型以及所述拼音詞向量模型分別提取所述第二待訓練文本樣本集對應的編碼數據；

根據所述編碼數據執行模型訓練得到文本處理模型。

2.根據權利要求1所述的方法，其特征在于，所述基于所述第一待訓練文本樣本集分別執行模型訓練得到不同輸入法對應的五筆詞向量模型以及拼音詞向量模型，包括：

將所述第一待訓練文本樣本集轉換為對應的拼音編碼向量，根據預配置的滑動窗口依次遍歷所述拼音編碼向量，并將遍歷到的所述拼音編碼向量作為當前待處理拼音向量，基于當前拼音模型參數對應的當前詞向量模型在所述當前待處理拼音向量中預測預設位置處的拼音編碼向量，并根據預測的所述拼音編碼向量以及真實的所述拼音編碼向量確定目標拼音模型參數，根據確定的所述目標拼音模型參數得到拼音詞向量模型；

將所述第一待訓練文本樣本集轉換為對應的五筆編碼向量，根據預配置的滑動窗口依次遍歷所述五筆編碼向量，并將遍歷到的所述五筆編碼向量作為當前待處理五筆向量，基于當前五筆模型參數對應的當前詞向量模型在所述當前待處理五筆向量中預測預設位置處的五筆編碼向量，并根據預測的所述五筆編碼向量以及真實的五筆編碼向量確定目標五筆模型參數，根據確定的所述目標五筆模型參數得到五筆詞向量模型。

3.根據權利要求1所述的方法，其特征在于，所述基于所述語言模型、所述五筆詞向量模型以及所述拼音詞向量模型分別提取所述第二待訓練文本樣本集對應的編碼數據，包括：

基于預訓練的所述五筆詞向量模型從所述第二待訓練文本樣本集中提取五筆編碼數據；

基于預訓練的所述拼音詞向量模型從所述第二待訓練文本樣本集中提取拼音編碼數據；

獲取預訓練的語言模型，并基于所述語言模型從所述第二待訓練樣本集中提取多維語言編碼數據；

所述根據所述編碼數據執行模型訓練得到文本處理模型，包括：

將所述五筆編碼數據、所述拼音編碼數據以及所述多維語言編碼數據作為輸入數據，并根據所述輸入數據進行模型訓練得到文本處理模型。

4.根據權利要求3所述的方法，其特征在于，所述將所述五筆編碼數據、所述拼音編碼數據以及所述多維語言編碼數據作為輸入數據，并根據所述輸入數據進行模型訓練得到文本處理模型，包括：

將所述五筆編碼數據、所述拼音編碼數據以及所述多維語言編碼數據進行拼接處理得到拼接編碼數據；

基于所述語言模型對所述拼接編碼數據進行預測處理得到每一個位置處對應的預測概率；

根據所述預測概率的大小確定對應位置處的初始預測文本；

基于所述初始預測文本與真實標簽文本之間的差異對初始文本處理模型的初始模型參數進行調整得到目標模型參數，并根據所述目標模型參數確定文本處理模型。

5.根據權利要求4所述的方法，其特征在于，所述根據所述預測概率的大小確定對應位置處的初始預測文本，包括：

獲取預測概率值大于預設值的預測文本；

基于同音原則以及拼音原則從所述預測文本中提取初始預測文本，所述初始預測文本存儲至區塊鏈節點中。

6.根據權利要求4所述的方法，其特征在于，所述文本處理模型的模型參數包括拼音模型參數以及五筆模型參數；所述基于所述初始預測文本與真實標簽文本之間的差異對初始文本處理模型的初始模型參數進行調整得到目標模型參數，并根據所述目標模型參數確定文本處理模型，包括：

基于所述初始預測文本與真實標簽文本之間的差異對初始文本處理模型的初始五筆參數進行調整得到目標五筆模型參數；

根據所述拼音模型參數以及所述目標五筆模型參數確定文本處理模型。