[發明專利]文本分類方法及裝置

在審

• 申請號: 201911148366.2
• 申請日: 2019-11-21
• 公開（公告）號: CN112256844A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 王陽陽
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張曉霞;劉芳

本申請提供一種文本分類方法及裝置。該方法包括：獲取當前場景下每一子意圖對應的示例問題，示例問題為一類問題的標準問法，根據用戶在當前場景下輸入的問題和文本匹配算法對每一子意圖對應的示例問題進行擴充，得到擴充后的每一子意圖對應的示例問題，根據混淆矩陣、每兩個子意圖之間的混淆度和擴充后的每一子意圖對應的示例問題，對所有子意圖進行合并，得到N個子意圖，N為正整數。從而實現了對新場景下的線上語料進行自動合理的分類，相比較人工耗時短，且提高了準確率。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種文本分類方法及裝置。

背景技術

目前，在客服機器人對話系統中，文本分類主要是用來識別用戶查詢的意圖，在客服機器人對話系統中起著非常重要的作用。文本分類的過程為：首先通過人工取線上語料(即用戶所輸入的問題)進行標注，在標注完成后，對標注的數據進行混淆調優以調整分類，從而使分類更加合理，最后通過分類算法訓練調整分類后的數據得出分類模型。

在客服機器人對話系統中做業務拓展，通常需要耗費大量的人力進行標注和調整分類，訓練新的分類模型以適應新增的場景。現有技術中在業務拓展時，通過業務人員會分析線上語料，然后根據業務類型對線上語料分類，接著根據分類結果對新場景的所有線上語料進行標注，同樣地，在標注完成后，對標注的數據進行混淆調優以調整分類，從而使分類更加合理，最后通過分類算法訓練調整分類后的數據得出分類模型。

業務人員根據業務類型對線上語料分類時，通常會將某一些子意圖(指一種場景下客服機器人可直接應答的一類問題)根據業務類型合并到一個大分類里，而通過人工進行分類耗時長、準確率低。

發明內容

本申請提供一種文本分類方法及裝置，以解決現有方法在業務拓展時耗時長、準確率低的問題。

第一方面，本申請提供一種文本分類方法，包括：

獲取當前場景下每一子意圖對應的示例問題，所述示例問題為一類問題的標準問法；

根據用戶在當前場景下輸入的問題和文本匹配算法對所述每一子意圖對應的示例問題進行擴充，得到擴充后的每一子意圖對應的示例問題；

根據混淆矩陣、每兩個子意圖之間的混淆度和擴充后的每一子意圖對應的示例問題，對所有子意圖進行合并，得到N個子意圖，所述N為正整數。

進一步的，所述根據用戶在當前場景下輸入的問題和文本匹配算法對所述每一子意圖對應的示例問題進行擴充，得到擴充后的每一子意圖對應的示例問題，包括：

通過文本匹配算法從用戶在當前場景下輸入的問題中篩選出與所述每一子意圖對應的示例問題相匹配的示例問題；

將所篩選出的與所述每一子意圖對應的示例問題相匹配的示例問題分別作為擴充后的每一子意圖對應的示例問題。

進一步地，所述根據混淆矩陣、每兩個子意圖之間的混淆度和擴充后的每一子意圖對應的示例問題，對所有子意圖進行合并，得到N個子意圖，包括：

S1、依次將每一子意圖對應的示例問題輸入到所述混淆矩陣，得到每個示例問題預測的子意圖、每個子意圖的準確率和召回率的調和平均值和所有子意圖的總體準確率和召回率的調和平均值；

S2、根據子意圖對應的實際示例問題和預測的示例問題計算所有子意圖中任意兩個子意圖的混淆度；

S3、將混淆度最大的M個子意圖合并，得到一個新的子意圖，所述M為預設正整數，所述新的子意圖對應的示例問題的個數為所述混淆度最大的M個子意圖對應的示例問題的個數之和；

根據所述新的子意圖和除所述M個子意圖之外的子意圖繼續執行所述S1-S3，直到所有子意圖的個數為所述N，所述N為預設值；或者，