[發明專利]文本數據分類模型的訓練方法、分類方法、裝置和設備

在審

• 申請號: 202011473541.8
• 申請日: 2020-12-15
• 公開（公告）號: CN112417158A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 孫雅琳;桑海巖;李苗苗
• 申請（專利權）人: 中國聯合網絡通信集團有限公司;聯通大數據有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/335;G06F40/284;G06F40/289
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張娜;劉芳

本申請提供一種文本數據分類模型的訓練方法、分類方法、裝置和設備，該方法包括：獲取文本樣本數據；對文本樣本數據進行分詞處理，得到文本樣本數據對應的分詞結果；將文本樣本數據對應的分詞結果與預設關鍵詞庫中的關鍵詞進行匹配，并根據匹配結果確定文本樣本數據的標簽，標簽用于表征文本樣本數據對應的類別，關鍵詞庫包括與至少一個類別相關的至少一個關鍵詞；根據文本樣本數據及文本樣本數據對應的標簽，對初始文本分類模型進行訓練，得到文本數據分類模型。該方法在訓練模型前對文本樣本數據進行初步分類，確定出其可能對應的類別，將其輸入到模型中對模型進行訓練，能夠降低模型準確度對于模型參數的依賴性和模型訓練的難度。

技術領域

本申請實施例涉及數據處理領域，尤其涉及一種文本數據分類模型的訓練方法、分類方法、裝置和設備。

背景技術

隨著人們生活節奏的加快，電話咨詢已逐步取代了現場咨詢。人們往往希望能夠通過簡短的溝通，得到使其滿意的答復。為了提高溝通效率，客服通常會對用戶關注的問題進行統計、分析，確定出與用戶提問相關的類別，然后有針對性的儲備答案，以提高與用戶溝通時的答復效率。

現有技術在分析用戶關注的問題時，通常采用無監督的方法訓練得到一個分類模型，在通過該模型對用戶關注的問題進行分類，確定出其對應的類別。

然而，無監督的訓練方法對于模型的參數要求較高，模型訓練難度較大。

發明內容

本申請提供一種文本數據分類模型的訓練方法、分類方法、裝置和設備，能夠降低模型訓練時對于參數的依賴性，降低模型訓練的難度。

第一方面，本申請提供了一種文本數據分類模型的訓練方法，包括：獲取文本樣本數據；對文本樣本數據進行分詞處理，得到文本樣本數據對應的分詞結果；將文本樣本數據對應的分詞結果與預設關鍵詞庫中的關鍵詞進行匹配，并根據匹配結果確定文本樣本數據的標簽，標簽用于表征文本樣本數據對應的類別，關鍵詞庫包括與至少一個類別相關的至少一個關鍵詞；根據文本樣本數據及文本樣本數據對應的標簽，對初始文本分類模型進行訓練，得到文本數據分類模型，文本數據分類模型用于對目標文本數據進行分類。

可選的，將文本樣本數據對應的分詞結果與預設關鍵詞庫中的關鍵詞進行匹配，并根據匹配結果確定文本樣本數據的標簽，包括：若文本樣本數據對應的分詞結果僅與預設關鍵詞庫中的一個類別相關的關鍵詞匹配成功，則將類別確定為文本樣本數據的標簽。

該方法通過將分詞結果與關鍵詞進匹配，能夠對文本樣本數據進行初步劃分，確定出該文本樣本數據可能對應的類別，進而得到用于訓練模型的正樣本。

可選的，方法還包括：若文本樣本數據對應的分詞結果與預設關鍵詞庫中的任一關鍵詞均匹配失敗，則將文本樣本數據的標簽確定為未命中。

該方法通過將分詞結果與關鍵詞進匹配，能夠對文本樣本數據進行初步劃分，確定出該文本樣本數據可能對應的類別，進而得到用于訓練模型的負樣本，增加輸入模型的訓練樣本的多樣性。

可選的，根據文本樣本數據及文本樣本數據對應的標簽，對初始文本分類模型進行訓練，包括：將文本樣本數據和文本樣本數據的標簽輸入至初始文本分類模型，得到輸出結果；接收第一操作指令，第一操作指令用于指示重新確定文本樣本數據的標簽，第一操作指令為在輸出結果與文本樣本數據的標簽不一致時觸發的；根據第一操作指令，將輸出結果確定為文本樣本數據的新標簽，并再次將文本樣本數據和文本樣本數據的新標簽輸入至初始文本分類模型中，直至輸出結果與文本樣本數據的新標簽相同。

通過比較文本樣本數據輸入初始文本分類模型時所對應的標簽和該文本樣本數據及其標簽輸入初始文本分類模型后，初始文本分類模型對應的輸出結果，來更新文本樣本數據對應的標簽，進一步優化訓練樣本，提高模型訓練的準確性。其次，本申請提供的文本數據分類模型的訓練方法相較于監督學習的訓練方法，降低了模型對訓練樣本的標簽的準確性的要求，降低了模型訓練的難度和成本。