[發明專利]文本處理模型訓練方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202011447964.2
• 申請日: 2020-12-11
• 公開（公告）號: CN112528637A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 吳天博;王健宗;程寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/274
• 分類號: G06F40/274;G06F3/023
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 吳平

本申請涉及人工智能技術領域，具體涉及一種文本處理模型訓練方法、裝置、計算機設備和存儲介質。方法包括：獲取第一待訓練文本樣本集；基于第一待訓練文本樣本集分別執行模型訓練得到不同輸入法對應的五筆詞向量模型以及拼音詞向量模型；獲取第二待訓練文本樣本集以及預訓練的語言模型；基于語言模型、五筆詞向量模型以及拼音詞向量模型分別提取第二待訓練文本樣本集對應的編碼數據；根據編碼數據執行模型訓練得到文本處理模型。此外，本發明還涉及區塊鏈技術，隱私信息如編碼數據可存儲于區塊鏈中。采用本方法能夠提高文本處理模型的訓練精度，進而根據文本處理模型獲取高質量的目標文本數據。

技術領域

本申請涉及人工智能技術領域，特別是涉及一種文本處理模型訓練方法、裝置、計算機設備和存儲介質。

背景技術

中文糾錯是自然語言處理中的一個基礎任務，它常常影響著上游任務的準確性，在可獲得的廉價文本數據中，常常包含著各種各樣的中文錯誤，但是對于博大精深的中文而言，改變幾個字可能語義也會發生天翻地覆的變化，因此中文糾錯常常作為底層模塊為上游任務提供較高質量的文本。

傳統技術中的Bert作為目前主流的預訓練語言模型，其MLM預訓練任務由于其mask機制會引入15％-10％的噪聲，所以Bert具有一定的檢錯能力，但是由于只有15％-10％的噪聲引入，因此Bert在做文本檢錯常常表現得無力，使得獲取高質量的文本數據較為困難。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠獲取精度較高的文本處理模型訓練方法、裝置、計算機設備和存儲介質。

一種文本處理模型訓練方法，方法包括：

獲取第一待訓練文本樣本集；

基于第一待訓練文本樣本集分別執行模型訓練得到不同輸入法對應的五筆詞向量模型以及拼音詞向量模型；

獲取第二待訓練文本樣本集以及預訓練的語言模型；

基于語言模型、五筆詞向量模型以及拼音詞向量模型分別提取第二待訓練文本樣本集對應的編碼數據；

根據編碼數據執行模型訓練得到文本處理模型。

在一個實施例中，基于第一待訓練文本樣本集分別執行模型訓練得到不同輸入法對應的五筆詞向量模型以及拼音詞向量模型，包括：

將第一待訓練文本樣本集轉換為對應的拼音編碼向量，根據預配置的滑動窗口依次遍歷拼音編碼向量，并將遍歷到的拼音編碼向量作為當前待處理拼音向量，基于當前拼音模型參數對應的當前詞向量模型在當前待處理拼音向量中預測預設位置處的拼音編碼向量，并根據預測的拼音編碼向量以及真實的拼音編碼向量確定目標拼音模型參數，根據確定的目標拼音模型參數得到拼音詞向量模型；

將第一待訓練文本樣本集轉換為對應的五筆編碼向量，根據預配置的滑動窗口依次遍歷五筆編碼向量，并將遍歷到的五筆編碼向量作為當前待處理五筆向量，基于當前五筆模型參數對應的當前詞向量模型在當前待處理五筆向量中預測預設位置處的五筆編碼向量，并根據預測的五筆編碼向量以及真實的五筆編碼向量確定目標五筆模型參數，根據確定的目標五筆模型參數得到五筆詞向量模型。

在一個實施例中，基于語言模型、五筆詞向量模型以及拼音詞向量模型分別提取第二待訓練文本樣本集對應的編碼數據，包括：

基于預訓練的五筆詞向量模型從第二待訓練文本樣本集中提取五筆編碼數據；

基于預訓練的拼音詞向量模型從第二待訓練文本樣本集中提取拼音編碼數據；

獲取預訓練的語言模型，并基于語言模型從第二待訓練樣本集中提取多維語言編碼數據；

根據編碼數據執行模型訓練得到文本處理模型，包括：