[發(fā)明專利]一種多層級多類別的中文文本分類的實現(xiàn)方法及裝置

在審

• 申請?zhí)枺?/td>: 202010542735.2
• 申請日: 2020-06-15
• 公開（公告）號: CN111737465A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計）人: 代曉菊;丁富強;陸晉軍;孫海;蔣潤青;張亮;李錚;錢志驥
• 申請（專利權(quán)）人: 上海理想信息產(chǎn)業(yè)（集團）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/16;G06F16/335
• 代理公司: 上海國智知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31274
• 代理人: 潘建玲

本發(fā)明公開了一種多層級多類別的中文文本分類的實現(xiàn)方法及裝置，該方法包括如下步驟：步驟S1，結(jié)合訓(xùn)練數(shù)據(jù)集合中的實際分類體系的樹形結(jié)構(gòu)，構(gòu)建與該樹形結(jié)構(gòu)對應(yīng)的N層文本分類多叉樹，根據(jù)所述N層文本分類多叉樹的結(jié)構(gòu)，將所述訓(xùn)練數(shù)據(jù)集合中的訓(xùn)練數(shù)據(jù)分別寫入到各層級對應(yīng)的分類文件中；步驟S2，對各分類文件的中文文本進行分詞，并進行特征選擇保存到對應(yīng)的特征文件中；步驟S3，選擇分類算法，并設(shè)定、調(diào)整算法參數(shù)集，將步驟S2保存的特征文件數(shù)據(jù)導(dǎo)入所述分類算法中，迭代生成訓(xùn)練數(shù)據(jù)的每個分類與子分類模型并保存。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理和機器學(xué)習(xí)技術(shù)領(lǐng)域，特別是涉及一種多層級多類別的中文文本分類的實現(xiàn)方法及裝置。

背景技術(shù)

文本分類是計算機對自然語言按照一定的類目體系進行自動化歸類的過程，在很多領(lǐng)域有重大應(yīng)用，例如以電信10000號客服中心平臺為例，希望能夠通過自動文本分類的手段，實現(xiàn)客戶來訪工單的準確分類及快速記錄，從而達到加快現(xiàn)場話務(wù)員服務(wù)響應(yīng)能效，提升整體服務(wù)質(zhì)量，提高熱線整體運營數(shù)據(jù)分析的智能化程度，優(yōu)化管理的效果。

目前隨著機器學(xué)習(xí)的研究逐漸深入，文本分類方法不斷改進，目前在文本分類領(lǐng)域的研究取得較大進展，很多研究提出了多層級多類別的分類體系。

這種多層級多類別的分類體系是指，多個類別的層級之間是遞進關(guān)系，一般是首先分為幾大類，每一大類中包含若干中類，每個中類中又包含若干小類，每一小類下再分小小類，如此順延，最后，每一個文本都可以分到某一個類目下，而其中的大類、中類、小類、小小類等之間存在著自上而下的邏輯關(guān)系。多層級多類別的文本分類不僅費時費力，覆蓋的范圍和準確率也非常有限，如何快速精確地對多層級多類別的中文文本分類是一個重要的研究范疇。

然而，現(xiàn)有技術(shù)中，在多層級多類別的中文文本方向，由于多層級多類別和大規(guī)模文本數(shù)據(jù)及不均衡性的限制，多層級多類別的文本分類不僅費時費力，覆蓋的范圍和準確率也非常有限，在分類準確率和分類效率上仍沒有較好的分類方法。

發(fā)明內(nèi)容

為克服上述現(xiàn)有技術(shù)存在的不足，本發(fā)明之目的在于提供一種多層級多類別的中文文本分類的實現(xiàn)方法及裝置，以實現(xiàn)一種快捷高效、高準確率的文本分類技術(shù)。

為達上述目的，本發(fā)明提出一種多層級多類別的中文文本分類的實現(xiàn)方法，包括如下步驟：

步驟S1，結(jié)合訓(xùn)練數(shù)據(jù)集合中的實際分類體系的樹形結(jié)構(gòu)，構(gòu)建與該樹形結(jié)構(gòu)對應(yīng)的N層文本分類多叉樹，根據(jù)所述N層文本分類多叉樹的結(jié)構(gòu)，將所述訓(xùn)練數(shù)據(jù)集合中的訓(xùn)練數(shù)據(jù)分別寫入到各層級對應(yīng)的分類文件中；

步驟S2，對各分類文件的中文文本進行分詞，并進行特征選擇保存到對應(yīng)的特征文件中；

步驟S3，選擇分類算法，并設(shè)定、調(diào)整算法參數(shù)集，將步驟S2保存的特征文件數(shù)據(jù)導(dǎo)入所述分類算法中，迭代生成訓(xùn)練數(shù)據(jù)的每個分類與子分類模型并保存。

優(yōu)選地，于步驟S1之前，還包括如下步驟：

步驟S0，獲取文本的訓(xùn)練數(shù)據(jù)集合、驗證數(shù)據(jù)集合及待分類的測試數(shù)據(jù)集合。

優(yōu)選地，于步驟S1中，以文件命名規(guī)則R對分類文件進行文件命名，將類別號的命名規(guī)則與其對應(yīng)的中文類別名稱保存為分類文件。

優(yōu)選地，步驟S2進一步包括：

步驟S200，利用中文分詞工具依次對分類文件的中文文本進行分詞；

步驟S201，構(gòu)建停用詞庫，將利用構(gòu)建的停用詞庫對步驟S200的分詞結(jié)果進行篩除；

步驟S302，利用特征選擇工具選擇前m維特征作為特征庫。

優(yōu)選地，于步驟S201中，所述停用詞庫包括但不限于數(shù)字、英文字符、副詞、語氣詞以及與業(yè)務(wù)無關(guān)詞匯，可根據(jù)實際工單文本數(shù)據(jù)內(nèi)容的需要，增添、刪改停用詞庫。