[發明專利]一種文本聚類方法及裝置

有效

• 申請號: 201611035287.7
• 申請日: 2016-11-21
• 公開（公告）號: CN106599072B
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 王偉
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉曉菲;王寶筠

1.一種文本聚類方法，其特征在于，所述方法包括：

獲取待聚類文本，所述待聚類文本中包括各個特征詞；

對所述待聚類文本的各個特征詞進行聚類，得到每一個詞聚類類別分別對應的特征詞集；

構建與每個待聚類文本對應的文本向量，所述文本向量中的每一維表示一個詞聚類類別的特征詞集相對于一個待聚類文本的重要程度；

利用所述每個待聚類文本對應的文本向量對所述待聚類文本進行聚類；

所述構建與每個待聚類文本對應的文本向量包括：

計算所述待聚類文本中每個特征詞的詞權重，所述詞權重表示所述特征詞相對于所在的待聚類文本的重要程度；

利用所述詞聚類類別中每個特征詞的詞權重，分別得到每個待聚類文本中每個詞聚類類別的類權重，所述類權重表示一個詞聚類類別的特征詞集相對于一個待聚類文本的重要程度；

利用所述每個待聚類文本中每個詞聚類類別的類權重分別構建所述與每個待聚類文本對應的文本向量，所述文本向量的每一維為對應待聚類文本中一個詞聚類類別的類權重。

2.根據權利要求1所述的方法，其特征在于，在計算所述待聚類文本中每個特征詞的詞權重步驟之后，所述方法還包括：

分別選取每個待聚類文本中詞權重由大到小排列的前N個特征詞，所述N為大于0的整數；

所述利用所述詞聚類類別中每個特征詞的詞權重，分別得到每個待聚類文本中每個詞聚類類別的類權重包括：

利用所述詞聚類類別中選取得到的每個特征詞的詞權重，分別得到每個待聚類文本中每個詞聚類類別的類權重。

3.根據權利要求1或2所述的方法，其特征在于，所述每個待聚類文本中每個詞聚類類別的類權重具體為：

每個待聚類文本中每個詞聚類類別歸一化后的類權重；

所述歸一化后的類權重具體通過如下公式計算：

其中，C_k為第k類詞聚類類別，w_jk表示待聚類文本d_j的詞聚類類別C_k的類權重，tfidf_ij表示待聚類文本d_j中屬于詞聚類類別C_k的特征詞word_i的tf-idf值，w'_jk表示待聚類文本d_j在詞聚類類別C_k上歸一化后的類權值，N表示詞聚類類別的總數。

4.一種文本聚類裝置，其特征在于，所述裝置包括：文本獲取單元、特征詞聚類單元、向量構建單元和文本聚類單元；

其中，所述文本獲取單元，用于獲取待聚類文本，所述待聚類文本中包括各個特征詞；

所述特征詞聚類單元，用于對所述待聚類文本的各個特征詞進行聚類，得到每一個詞聚類類別分別對應的特征詞集；

所述向量構建單元，用于構建與每個待聚類文本對應的文本向量，所述文本向量中的每一維表示一個詞聚類類別的特征詞集相對于一個待聚類文本的重要程度；

所述文本聚類單元，用于利用所述每個待聚類文本對應的文本向量對所述待聚類文本進行聚類；

所述向量構建單元包括：

詞權重計算單元、類權重計算單元和文本向量構建單元；

其中，所述詞權重計算單元，用于計算所述待聚類文本中每個特征詞的詞權重，所述詞權重表示所述特征詞相對于所在的待聚類文本的重要程度；

所述類權重計算單元，用于利用所述詞聚類類別中每個特征詞的詞權重，分別得到每個待聚類文本中每個詞聚類類別的類權重，所述類權重表示一個詞聚類類別的特征詞集相對于一個待聚類文本的重要程度；

所述文本向量構建單元，用于利用所述每個待聚類文本中每個詞聚類類別的類權重分別構建所述與每個待聚類文本對應的文本向量，所述文本向量的每一維為對應待聚類文本中一個詞聚類類別的類權重。