[發明專利]一種文本數據分類與信息挖掘方法

有效

• 申請號: 201910481105.6
• 申請日: 2019-06-04
• 公開（公告）號: CN110222180B
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 魯玥;王玉;曲皓;張逍玉;孔祥智
• 申請（專利權）人: 江南大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 林娟

1.一種文本數據分類與信息挖掘方法，其特征在于，所述方法包括：

S1：建立不同層級不同類別的關鍵詞庫，并根據關鍵詞庫確定每條文本數據對應的文本特征向量；為描述方便，假設第i條文本數據所含總關鍵詞數為n_i、總類別個數為k、所含第j類關鍵詞的數目為m_ij，則第i條文本數據的特征向量為[m_i1,m_i2···,m_ij···m_ik]；

S2：根據S1建立好的關鍵詞庫，基于分層模糊分類的方法對各條文本數據進行分類，分類過程中，計算每條文本數據對各類的隸屬度；第i條文本數據對第j類的隸屬度其中m_ij表示第i條文本數據所含第j類關鍵詞的數目；根據隸屬度將各條文本數據模糊分類至對應的類別；

S3：選取隸屬度差異化大的文本數據作為可靠個體，通過支持向量機的訓練得到訓練函數；定義第i條文本數據的隸屬度差異化系數為：

定義差異化系數的閾值λ；

當β_i≥λ時，稱該個體隸屬度差異大，為可靠個體，作為支持向量機的訓練數據，

當β_i＜λ時，稱該個體隸屬度差異小，為不可靠個體；

S4：采用訓練好的支持向量機訓練函數對待分類的文本數據進行分類。

2.根據權利要求1所述的方法，其特征在于，所述S3中支持向量機如下：

選取高斯核函數(x_i,y_i)表示訓練數據，x_i表示訓練數據的輸入，y_i表示對應的輸出，α_i表示Lagrange乘子；n為訓練數據個數；

取某個α_j＞0對應的樣本：訓練支持向量機，得到決策函數：

3.根據權利要求2所述的方法，其特征在于，所述S1之前，還包括文本預處理，得到離散化后的數據文本。

4.根據權利要求3所述的方法，其特征在于，所述文本預處理，得到離散化后的數據文本包括：根據NLPIR漢語分詞系統對每條文本分詞，利用已有停用詞詞典去停用詞，得到離散化后的數據文本。

5.根據權利要求4所述的方法，其特征在于，所述S1之前，還包括根據已有文本數據確定不同層級不同類別的關鍵詞庫所包含的關鍵詞。

6.根據權利要求5所述的方法，其特征在于，所述方法應用于12345市長熱線文本數據的分類。

7.根據權利要求6所述的方法，其特征在于，所述12345市長熱線文本數據的分類中，設置至少兩個層級。

8.根據權利要求7所述的方法，其特征在于，當設置為兩個層級時，第一層是性質類別，第二層是職能類別。

9.根據權利要求8所述的方法，其特征在于，所述性質類別包括咨詢和投訴兩類，其中咨詢一類包括經濟違法和社會服務中的至少兩項；投訴一類包括行政職能和民生投訴、法制投訴、消費維權中的至少兩項。

10.權利要求1-5任一所述的方法在文本分類領域內的應用。