[發明專利]一種熱點話題發現方法、系統及一種熱點話題發現設備

在審

• 申請號: 201711091479.4
• 申請日: 2017-11-08
• 公開（公告）號: CN107832418A
• 公開（公告）日: 2018-03-23
• 發明（設計）人: 畢銀龍
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

1.一種熱點話題發現方法，其特征在于，包括：

獲取網頁數據，并將所述網頁數據進行分詞處理，得到處理結果；

對所述處理結果進行特征提取，得到特征向量；

將所述特征向量輸入LDA模型中，得到所述網頁數據中每個主題對應的概率；

將所述概率大于預設值的主題作為熱點話題。

2.根據權利要求1所述熱點話題發現方法，其特征在于，所述獲取網頁數據之后，還包括：

根據貪心策略和預定的啟發式規則對所述網頁數據進行去除噪音處理。

3.根據權利要求1或2所述熱點話題發現方法，其特征在于，所述對經過分詞處理的網頁數據進行特征提取，得到特征向量，包括：

將經過分詞處理的網頁數據中TF-IDF權重大于預設值的詞語添加至文本特征項中；

將所述文本特征項輸入VSM模型中，得到所述網頁數據對應的特征向量。

4.根據權利要求3所述熱點話題發現方法，其特征在于，所述將經過分詞處理的網頁數據中TF-IDF權重大于預設值的詞語添加至文本特征項中，包括：

計算經過分詞處理的網頁數據中每個詞語的TF和IDF，所述TF為所述詞語在當前文本中的詞頻，IDF為包含所述詞語的文本數的倒數；

將所述TF與所述IDF的乘積作為所述詞語的TF-IDF權重；

判斷所述TF-IDF權重是否大于所述預設值，若是，則將所述詞語添加至文本特征項中。

5.一種熱點話題發現系統，其特征在于，包括：

獲取模塊，用于獲取網頁數據，并將所述網頁數據進行分詞處理，得到處理結果；

特征提取模塊，用于對所述處理結果進行特征提取，得到特征向量；

輸入模塊，用于將所述特征向量輸入LDA模型中，得到所述網頁數據中每個主題對應的概率；

確定模塊，用于將所述概率大于預設值的主題作為熱點話題。

6.根據權利要求5所述熱點話題發現系統，其特征在于，還包括：

去噪模塊，用于根據貪心策略和預定的啟發式規則對所述網頁數據進行去除噪音處理。

7.根據權利要求5或6所述熱點話題發現系統，其特征在于，所述特征提取模塊具體包括：

添加單元，用于將經過分詞處理的網頁數據中TF-IDF權重大于預設值的詞語添加至文本特征項中；

向量化單元，用于將所述文本特征項輸入VSM模型中，得到所述網頁數據對應的特征向量。

8.根據權利要求7所述熱點話題發現系統，其特征在于，所述添加單元具體包括：

計算子單元，用于計算經過分詞處理的網頁數據中每個詞語的TF和IDF，所述TF為所述詞語在當前文本中的詞頻，IDF為包含所述詞語的文本數的倒數；

確定子單元，用于將所述TF與所述IDF的乘積作為所述詞語的TF-IDF權重；

判斷子單元，用于判斷所述TF-IDF權重是否大于所述預設值，若是，則將所述詞語添加至文本特征項中。

9.一種熱點話題發現設備，其特征在于，包括：

存儲器，用于存儲熱點話題發現程序；

處理器，用于執行所述熱點話題發現程序時實現如權利要求1至4任一項所述熱點話題發現方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有熱點話題發現程序，所述熱點話題發現程序被處理器執行時實現如權利要求1至4任一項所述熱點話題發現方法。