[發明專利]一種輿情主題數據聚類方法、裝置及存儲介質

有效

• 申請號: 201910522043.9
• 申請日: 2019-06-17
• 公開（公告）號: CN110377695B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 張毅
• 申請（專利權）人: 廣州艾媒數聚信息咨詢股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 黎揚鵬

1.一種輿情主題數據聚類方法，其特征在于：包括以下步驟：

對待聚類的文章進行預處理，所述預處理包括切詞、詞性標記、去停用詞、計算詞頻和去重，所述待聚類的文章為預設周期內獲取的文章；

對預處理后的文章進行雜質過濾；從雜質過濾后的文章中抽取文章標題和摘要，并將所述雜質過濾后的文章分割為句子集合；

提取各個句子的關鍵詞組；

計算各個句子集合之間的相互距離；

提取已有聚類的關鍵詞組；

通過Skip-gram算法提取各個句子的關鍵詞組的特征向量作為第一向量；

通過所述Skip-gram算法提取已有聚類的關鍵詞組的特征向量作為第二向量；

對第一向量與第二向量進行多維距離計算；

將第一向量與第二向量之間的多維距離降維處理為一維距離，從而得到各個句子的關鍵詞組到各已有聚類的關鍵詞組的距離；

合并計算所述各個句子集合到所述已有聚類的關鍵詞組的距離；

根據計算的距離和自適應的距離閾值進行主題聚類，得到聚類結果，并將聚類結果寫入新聚類主題列表或已有聚類主題列表，所述已有聚類主題列表由已有聚類組成。

2.根據權利要求1所述的一種輿情主題數據聚類方法，其特征在于：所述根據計算的距離和自適應的距離閾值進行主題聚類，得到聚類結果，并將聚類結果寫入新聚類主題列表或已有聚類主題列表這一步驟，具體包括：

將句子集合的相互距離小于等于第一距離閾值的文章主題合并為新分類；

將新分類中與已有聚類的關鍵詞組距離最大的新分類確定為可能分類；

將可能分類與各個已有聚類進行距離對比，從而將與已有聚類的距離小于第二距離閾值的可能分類歸入該已有聚類所在的已有聚類主題列表中，并更新該已有聚類的關鍵詞組。

3.根據權利要求2所述的一種輿情主題數據聚類方法，其特征在于：所述根據計算的距離和自適應的距離閾值進行主題聚類，得到聚類結果，并將聚類結果寫入新聚類主題列表或已有聚類主題列表這一步驟，還具體包括：

確定待聚類的文章的各個句子的關鍵詞組與已有聚類的關鍵詞組相同或相似度大于預設相似度閾值時，直接將待聚類的文章主題歸入已有聚類所在的已有聚類主題列表中。

4.一種輿情主題數據聚類裝置，其特征在于：包括：

文本處理模塊，用于對待聚類的文章進行預處理，所述預處理包括切詞、詞性標記、去停用詞、計算詞頻和去重；對預處理后的文章進行雜質過濾；從雜質過濾后的文章中抽取文章標題和摘要，并將所述雜質過濾后的文章分割為句子集合，所述待聚類的文章為預設周期內獲取的文章；

距離計算模塊，用于提取各個句子的關鍵詞組；計算各個句子集合之間的相互距離；提取已有聚類的關鍵詞組；通過Skip-gram算法提取各個句子的關鍵詞組的特征向量作為第一向量；通過所述Skip-gram算法提取已有聚類的關鍵詞組的特征向量作為第二向量；對第一向量與第二向量進行多維距離計算；將第一向量與第二向量之間的多維距離降維處理為一維距離，從而得到各個句子的關鍵詞組到各已有聚類的關鍵詞組的距離；

主題聚類模塊，用于根據計算的距離和自適應的距離閾值進行主題聚類，得到聚類結果，并將聚類結果寫入新聚類主題列表或已有聚類主題列表，所述已有聚類主題列表由已有聚類組成。

5.根據權利要求4所述的一種輿情主題數據聚類裝置，其特征在于：所述主題聚類模塊具體包括：

新分類合并單元，用于將句子集合的相互距離小于等于第一距離閾值的文章主題合并為新分類；

可能分類確定單元，用于將新分類中與已有聚類的關鍵詞組距離最大的新分類確定為可能分類；

聚類單元，用于將可能分類與各個已有聚類進行距離對比，從而將與已有聚類的距離小于第二距離閾值的可能分類歸入該已有聚類所在的已有聚類主題列表中，并更新該已有聚類的關鍵詞組。

6.一種輿情主題數據聚類裝置，其特征在于：包括：

至少一個處理器；

至少一個存儲器，用于存儲至少一個程序；

當所述至少一個程序被所述至少一個處理器執行，使得所述至少一個處理器實現如權利要求1-3所述的一種輿情主題數據聚類方法。

7.一種存儲介質，其中存儲有處理器可執行的指令，其特征在于：所述處理器可執行的指令在由處理器執行時用于實現如權利要求1-3任一項所述的一種輿情主題數據聚類方法。