[發明專利]模型訓練方法、模型訓練裝置及終端設備

在審

• 申請號: 202011504757.6
• 申請日: 2020-12-18
• 公開（公告）號: CN112579774A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 梁宸;馬龍;周元笙;蔣佳惟;陳思姣;李炫
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N20/00
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 牟蓓佳

本申請適用于人工智能技術領域，提供了模型訓練方法、模型訓練裝置、終端設備及存儲介質，其中，一種模型訓練方法，包括：對第一待訓練語句進行掩碼處理；根據進行掩碼處理后的第一待訓練語句對文本分類模型進行第一訓練，獲得第一訓練完成的文本分類模型；根據第二待訓練語句對所述第一訓練完成的文本分類模型進行第二訓練，獲得第二訓練完成的文本分類模型；基于待預測語句，對所述第二訓練完成的文本分類模型進行第三訓練，獲得第三訓練完成的文本分類模型。通過上述方法，可以獲得準確性較高的文本分類模型。

技術領域

本申請涉及人工智能技術領域，尤其涉及模型訓練方法、模型訓練裝置、終端設備及計算機可讀存儲介質。

背景技術

文本分類是自然語言處理中一項十分基礎且重要的工作。它的應用也非常廣泛，比如：垃圾信息過濾，新聞分類，詞性標注等等。

目前，用于常用的機器學習相關的文本分類方法有基于邏輯回歸、支持向量機的文本分類方法等。而這些機器學習算法在根據輸入的文本進行特征提取時，提取的文本點信息都較為獨立，不能很好地利用上下文信息，從而導致文本分類的準確性較低。

發明內容

有鑒于此，本申請實施例提供了模型訓練方法、模型訓練裝置、終端設備及計算機可讀存儲介質，可以獲得準確性較高的文本分類模型。

第一方面，本申請實施例提供了一種模型訓練方法，包括：

對第一待訓練語句進行掩碼處理，其中，所述掩碼處理指將第一待訓練語句中的指定文字進行遮蓋，以將所述指定文字作為待預測文字，若所述指定文字涉及第一產品名，則將涉及的每一個第一產品名作為一組待預測文字；

根據進行掩碼處理后的第一待訓練語句對文本分類模型進行第一訓練，獲得第一訓練完成的文本分類模型，其中，第一訓練中，所述文本分類模型用于對進行掩碼處理后的第一待訓練語句中的待預測文字進行預測；

根據第二待訓練語句對所述第一訓練完成的文本分類模型進行第二訓練，獲得第二訓練完成的文本分類模型，其中，各個所述第二待訓練語句中分別包括至少一個第一產品名，并且，每個所述第二訓練語句對應有業務標簽，第二訓練中，所述文本分類模型用于確定所述第二待訓練語句所對應的業務類別；

基于待預測語句，對所述第二訓練完成的文本分類模型進行第三訓練，獲得第三訓練完成的文本分類模型，其中，所述待預測語句與所述第一待訓練語句以及所述第二訓練語句不同，第三訓練中，基于所述文本分類模型中的至少兩個指定層的輸出確定所述第三訓練是否完成。

第二方面，本申請實施例提供了一種模型訓練裝置，包括：

掩碼處理模塊，用于對第一待訓練語句進行掩碼處理，其中，所述掩碼處理指將第一待訓練語句中的指定文字進行遮蓋，以將所述指定文字作為待預測文字，若所述指定文字涉及第一產品名，則將涉及的每一個第一產品名作為一組待預測文字；

第一訓練模塊，用于根據進行掩碼處理后的第一待訓練語句對文本分類模型進行第一訓練，獲得第一訓練完成的文本分類模型，其中，第一訓練中，所述文本分類模型用于對進行掩碼處理后的第一待訓練語句中的待預測文字進行預測；

第二訓練模塊，用于根據第二待訓練語句對所述第一訓練完成的文本分類模型進行第二訓練，獲得第二訓練完成的文本分類模型，其中，各個所述第二待訓練語句中分別包括至少一個第一產品名，并且，每個所述第二訓練語句對應有業務標簽，第二訓練中，所述文本分類模型用于確定所述第二待訓練語句所對應的業務類別；

第三訓練模塊，用于基于待預測語句，對所述第二訓練完成的文本分類模型進行第三訓練，獲得第三訓練完成的文本分類模型，其中，所述待預測語句與所述第一待訓練語句以及所述第二訓練語句不同，第三訓練中，基于所述文本分類模型中的至少兩個指定層的輸出確定所述第三訓練是否完成。