[發明專利]分層結構的文本分類方法、系統、電子設備和存儲介質

在審

• 申請號: 202110364490.3
• 申請日: 2021-04-05
• 公開（公告）號: CN114281983A
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 王曉良;李青龍;白劍波;高媛;趙浩然
• 申請（專利權）人: 北京智慧星光信息技術有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36
• 代理公司: 北京智宇正信知識產權代理事務所(普通合伙) 11876
• 代理人: 李明卓

本發明公開了一種分層結構的文本分類方法、系統、電子設備及存儲介質，該方法包括：獲取訓練文本；基于行業的劃分規則確定訓練文本中所包含的分類種類；根據分類種類確定訓練文本所對應的分類模型，分類模型采用LightGBM分類算法，分類算法的特征編碼包括基于關鍵詞的特征編碼和基于Word2vec特征編碼，關鍵詞包括采用人工預先提取得到人為干預的關鍵詞、采用信息增益提取得到基于信息增益的關鍵詞和采用TF?IDF值提取得到基于TF?IDF的關鍵詞；將分類模型進行分組，得到多個分組模型；將多個分組模型進行分層串聯，得到最終分類模型；獲取待測試文本；將待測試文本輸入最終分類模型中進行分類，得到待測試文本的分類結果。通過該方法提高了此類文本分類的準確性。

技術領域

本發明涉及互聯網數據處理領域，具體涉及到一種分層結構的文本分類方法、系統、電子設備及存儲介質。

背景技術

人員語音轉成對話文本，但是對話文本的上下文語境信息不明確；同時存在錯誤詞和疊詞等方言語義；同時在一個文本中存在多個不同的場景分類，存在一個文本符合幾個分類的情況；在采用深度學習的方法時由于樣本數量不均衡，同時數據樣本在遞增添加，然后又要在原有基礎上進行訓練，開發周期太長，分類的結果不準確，也無法進行快速迭代和優化。

發明內容

有鑒于此，本發明實施例提供了一種分層結構的文本分類方法、系統、電子設備及存儲介質，以解決現有技術中文本分類不準確的缺點。

為此，本發明實施例提供了如下技術方案：

根據第一方面，本發明實施例提供了一種分層結構的文本分類方法，包括：獲取訓練文本；基于行業的劃分規則確定訓練文本中所包含的分類種類；根據分類種類確定訓練文本所對應的分類模型，所述分類模型采用LightGBM分類算法，所述LightGBM分類算法的特征編碼包括基于關鍵詞的特征編碼和基于Word2vec特征編碼，所述關鍵詞包括三類關鍵詞，分別為采用人工預先提取關鍵詞得到人工提取的關鍵詞、采用信息增益提取得到基于信息增益的關鍵詞和采用TF-IDF值提取得到基于TF-IDF的關鍵詞；將分類模型進行分組，得到多個分組模型，每個分組模型中包含預設個數的分類模型；將多個分組模型進行分層串聯，得到最終分類模型；獲取待測試文本；將待測試文本輸入最終分類模型中進行分類，得到待測試文本的分類結果。

可選地，采用信息增益提取得到基于信息增益的關鍵詞的步驟中，包括：計算每一個詞所對應的信息增益；將所有詞的信息增益進行降序排列，從信息增益最大值開始選取第一預設個數的詞作為信息增益關鍵詞。

可選地，信息增益的計算公式為：

IG(T)＝H(C)-H(C|T)

其中，IG(T)為信息增益；H(C)為信息熵；H(C|T)為條件熵；C_i為文本分類的種類，i＝1，2，3...k；P(C_i)為文本中每一個種類出現的概率；P(word)為某個詞匯word在所有類別中出現的概率；為某個詞匯word在所有類別中不出現的概率；H(C|word)為出現詞匯word的文件的條件熵；P(C_i|word)為出現詞匯word的情況下是C_i類的概率；為不出現詞匯word的文件的條件熵；為不出現詞匯word的情況下是C_i類的概率。