[發明專利]一種多層級多類別的中文文本分類的實現方法及裝置

在審

• 申請號: 202010542735.2
• 申請日: 2020-06-15
• 公開（公告）號: CN111737465A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 代曉菊;丁富強;陸晉軍;孫海;蔣潤青;張亮;李錚;錢志驥
• 申請（專利權）人: 上海理想信息產業（集團）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/16;G06F16/335
• 代理公司: 上海國智知識產權代理事務所(普通合伙) 31274
• 代理人: 潘建玲

1.一種多層級多類別的中文文本分類的實現方法，包括如下步驟：

步驟S1，結合訓練數據集合中的實際分類體系的樹形結構，構建與該樹形結構對應的N層文本分類多叉樹，根據所述N層文本分類多叉樹的結構，將所述訓練數據集合中的訓練數據分別寫入到各層級對應的分類文件中；

步驟S2，對各分類文件的中文文本進行分詞，并進行特征選擇保存到對應的特征文件中；

步驟S3，選擇分類算法，并設定、調整算法參數集，將步驟S2保存的特征文件數據導入所述分類算法中，迭代生成訓練數據的每個分類與子分類模型并保存。

2.如權利要求1所述的一種多層級多類別的中文文本分類的實現方法，其特征在于，于步驟S1之前，還包括如下步驟：

步驟S0，獲取文本的訓練數據集合、驗證數據集合及待分類的測試數據集合。

3.如權利要求2所述的一種多層級多類別的中文文本分類的實現方法，其特征在于：于步驟S1中，以文件命名規則R對分類文件進行文件命名，將類別號的命名規則與其對應的中文類別名稱保存為分類文件。

4.如權利要求3所述的一種多層級多類別的中文文本分類的實現方法，其特征在于，步驟S2進一步包括：

步驟S200，利用中文分詞工具依次對分類文件的中文文本進行分詞；

步驟S201，構建停用詞庫，將利用構建的停用詞庫對步驟S200的分詞結果進行篩除；

步驟S302，對分詞結果進行特征提取，并利用特征選擇工具選擇前m維特征作為特征庫。

5.如權利要求4所述的一種多層級多類別的中文文本分類的實現方法，其特征在于:于步驟S201中，所述停用詞庫包括但不限于數字、英文字符、副詞、語氣詞以及與業務無關詞匯，可根據實際工單文本數據內容的需要，增添、刪改停用詞庫。

6.如權利要求4所述的一種多層級多類別的中文文本分類的實現方法，其特征在于:于步驟S3中，讀取步驟S0中整理的驗證數據集V對分類算法的結果進行準確率判定，若高于給定閾值Δ，則模型訓練結束，否則返回執行S2。

7.如權利要求6所述的一種多層級多類別的中文文本分類的實現方法，其特征在于，于步驟S3后，還包括如下步驟：

步驟S4，依次逐條讀取步驟S0整理的測試數據集，依次加載步驟S3生成各層級模型文件，進行預測分類。

8.如權利要求7所述的一種多層級多類別的中文文本分類的實現方法，其特征在于：于步驟S4中，首先加載所述分類算法對應的第一層級模型文件，進行第一層級的預測分類，并保存；然后加載相應的第二層級模型文件進行第二層級預測分類，并保存；然后加載相應的第三層級的模型文件預測分類并保存；一直到相應的第N層級的模型預測分類完畢，然后將內存中保存的測試數據以及分類結果保存到結果文件中。

9.如權利要求8所述的一種多層級多類別的中文文本分類的實現方法，其特征在于：步驟S4進一步包括：

步驟S400，每一層級的預測結果設置Top K，K值實際應該小于該層的總類別數；

步驟S401，加載第一層級模型0.model，將分類類別號x_1k保存在內存中，再加載0_x_1k.model(x₁＝1,2…,C₁；k＝1,2…,K)模型文件進行第二層級預測分類，將第二層級分類結果類別號x_2k保存在內存中，再加載0_x_1k_x_2k.model(x₁＝1,2…,C₁；x₂＝1,2…,C₂；k＝1,2…,K)模型文件進行第三層級預測分類，將第三層級分類結果類別號x_3k保存在內存中……一直到第N層級的數據預測分類完畢。

10.一種多層級多類別的中文文本分類的實現裝置，包括：

多層文本分類多叉樹構建單元，用于結合訓練數據集合中的實際分類體系的樹形結構，構建與該樹形結構對應的N層文本分類多叉樹，并根據N層文本分類多叉樹的結構，將訓練數據集合中的訓練數據分別寫入到各層級對應的分類文件中；

分詞及特征處理單元，用于對各分類文件的中文文本進行分詞，并將分詞結果通過停用詞庫進行篩除，并進行特征選擇保存到對應的特征文件中；

分類訓練單元，用于選擇分類算法，并設定、調整算法參數集，將所述分詞及特征處理單元保存的特征文件數據導入所述分類算法中，迭代生成訓練數據的每個分類與子分類模型并保存。