[發明專利]一種新話題的自動挖掘方法和系統

有效

• 申請號: 202010153596.4
• 申請日: 2020-03-06
• 公開（公告）號: CN111339784B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 謝楊易
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F16/35
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 楊永梅

本說明書的一個方面提供一種新話題的自動挖掘方法和系統。所述方法包括：獲取歷史文本數據，確定所述歷史文本數據中歷史文本之間的第一語義距離；基于所述第一語義距離確定至少一個第一簇；確定所述至少一個第一簇中每個簇的第一話題，所述第一話題反映第一簇的中心內容；獲取包含歷史文本和新增文本的文本合集數據，確定所述文本合集數據中文本之間的第二語義距離；基于所述第二語義距離確定至少一個第二簇；確定所述至少一個第二簇中每個簇的第二話題，所述第二話題反映第二簇的中心內容；當所述第二話題與任意一個第一話題的第三語義距離均大于預設距離閾值時，確定所述第二話題為新話題。

技術領域

本說明書涉及文本處理領域，特別涉及一種新話題的自動挖掘方法和系統。

背景技術

隨著互聯網信息的大幅膨脹，信息量呈指數增長，文本數據尤其的多，挖掘文本數據的價值顯得十分關鍵。而新話題挖掘可以指導用戶改進自己的產品、發覺最新熱點，時效性強、價值很高，是文本挖掘中的重要一環。人工進行文本挖掘中的新話題發現，由于文本數據量比較大而人力少，耗時且成本較高。因此，期望提供一種新話題的自動化挖掘方法。

發明內容

本說明書的一個方面提供一種新話題的自動挖掘方法，所述方法包括：獲取歷史文本數據，確定所述歷史文本數據中歷史文本之間的第一語義距離；基于所述第一語義距離確定至少一個第一簇；確定所述至少一個第一簇中每個簇的第一話題，所述第一話題反映第一簇的中心內容；獲取包含歷史文本和新增文本的文本合集數據，確定所述文本合集數據中文本之間的第二語義距離；基于所述第二語義距離確定至少一個第二簇；確定所述至少一個第二簇中每個簇的第二話題，所述第二話題反映第二簇的中心內容；當所述第二話題與任意一個第一話題的第三語義距離均大于預設距離閾值時，確定所述第二話題為新話題。

在一些實施例中，所述第一語義距離和所述第二語義距離均為余弦距離。

在一些實施例中，所述第一語義距離的確定方法包括：對所述歷史文本數據進行預處理；利用BERT神經網絡對預處理后的歷史文本數據進行編碼；基于編碼后的歷史文本數據，確定所述歷史文本數據中歷史文本之間的第一語義距離。

在一些實施例中，所述第二語義距離的確定方法包括：對所述文本合集數據進行預處理；利用BERT神經網絡對預處理后的文本合集數據進行編碼；基于編碼后的文本合集數據，確定所述文本合集數據中文本之間的第二語義距離。

在一些實施例中，所述預處理包括清洗文本數據中的噪聲數據，所述噪聲數據至少包括廣告數據、色情數據、語句不通順數據和/或重復數據。

在一些實施例中，所述基于所述第一語義距離確定至少一個第一簇包括：基于所述第一語義距離利用HDBSCAN聚類算法確定至少一個第一簇。

在一些實施例中，所述基于所述第二語義距離確定至少一個第二簇包括：基于所述第二語義距離利用HDBSCAN聚類算法確定至少一個第二簇。

在一些實施例中，所述第一話題或所述第二話題的確定方法包括：對于每個簇，確定所述簇中每個子集為所述簇的中心的概率值；確定所述概率值最大的子集為所述簇的聚類中心；基于所述聚類中心確定對應簇的第一話題或第二話題。

在一些實施例中，所述方法還包括：當所述至少一個第二簇中第二話題與至少一個第一簇中任意一個第一話題的第三語義距離均小于或等于預設距離閾值時，確定所述第二話題為老話題，所述老話題包括本次新話題自動挖掘之前確定的新話題。