[發明專利]一種熱點新聞挖掘方法、裝置及服務器有效
| 申請號： | 201711320431.6 | 申請日： | 2017-12-12 |
| 公開（公告）號： | CN108090157B | 公開（公告）日： | 2018-11-06 |
| 發明（設計）人： | 潘建 | 申請（專利權）人： | 百度在線網絡技術（北京）有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 北京市鑄成律師事務所 11313 | 代理人： | 郗名悅;徐瑞紅 |
| 地址： | 100085 北京市*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 熱詞 熱度 排序 抓取 聚類處理 聚類結果 熱點新聞 網絡爬蟲 聚類 服務器 發送 覆蓋面 時效性 挖掘 網站 抽取 存儲 | ||
1.一種熱點新聞挖掘方法，其特征在于，所述方法包括：
通過網絡爬蟲程序抓取包含有新聞熱詞的網站，以抽取其中的新聞熱詞并存儲；
對所述新聞熱詞進行聚類處理，并根據聚類結果計算所述聚類后的新聞熱詞的熱度；
根據所述新聞熱詞的熱度對所述新聞熱詞進行排序，將排序后的新聞熱詞對應的新聞發送至用戶；
其中根據聚類結果計算所述聚類后的新聞熱詞的熱度包括：
獲取對所述新聞熱詞進行聚類過程中生成的新聞聚類數；
在預設時間內計算所述新聞熱詞的新聞爆發度；
通過計算每一新聞熱詞聚類中，對應的新聞的平均發布時間和中位數時間點，對新聞做調權，以得到新聞聚類時的時間因子；
根據新聞聚類數、新聞爆發度和時間因子計算出新聞的熱度。
2.根據權利要求1所述的方法，其特征在于，對所述新聞熱詞進行聚類處理，包括：
對相同網站抓取到的新聞熱詞進行去重處理；
計算去重處理后的所述新聞熱詞之間的相似度，通過相似度對每個所述新聞熱詞進行聚類。
3.根據權利要求1所述的方法，其特征在于，在預設時間內計算所述新聞熱詞的新聞爆發度，包括：
計算所述新聞熱詞在第一時刻的新聞聚類數和所述新聞熱詞在第二時刻的新聞聚類數；
比較所述第一時刻的新聞聚類數和所述第二時刻的新聞聚類數；
若所述第二時刻的新聞聚類數大于所述第一時刻的新聞聚類數超過預設閾值，則根據所述第一時刻和所述第二時刻的新聞聚類數計算所述新聞熱詞的新聞爆發度。
4.根據權利要求2所述的方法，其特征在于，通過相似度對每個所述新聞熱詞進行聚類之前，包括：
根據所述網站的規模，對所述網站的新聞聚類數進行加權處理。
5.一種熱點新聞挖掘裝置，其特征在于，所述裝置包括：
抽取模塊，配置為通過網絡爬蟲程序抓取包含有新聞熱詞的網站，以抽取其中的新聞熱詞并存儲；
第一熱度計算模塊，配置為對所述新聞熱詞進行聚類處理，并根據聚類結果計算所述聚類后的新聞熱詞的熱度；
發送模塊，配置為根據所述新聞熱詞的熱度對所述新聞熱詞進行排序，將排序后的新聞熱詞對應的新聞發送至用戶；
所述第一熱度計算模塊包括：
獲取模塊，配置為獲取對所述新聞熱詞進行聚類過程中生成的新聞聚類數；
新聞爆發度計算模塊，配置為在預設時間內計算所述新聞熱詞的新聞爆發度；
時間因子計算模塊，配置為通過計算每一新聞熱詞聚類中，對應的新聞的平均發布時間和中位數時間點，對新聞做調權，以得到新聞聚類時的時間因子；
第二熱度計算模塊，配置為根據新聞聚類數、新聞爆發度和時間因子計算出新聞的熱度。
6.根據權利要求5所述的裝置，其特征在于，所述第一熱度計算模塊包括：
去重處理模塊，配置為對相同網站抓取到的新聞熱詞進行去重處理；
聚類處理模塊，配置為計算去重處理后的所述新聞熱詞之間的相似度，通過相似度對每個所述新聞熱詞進行聚類。
7.根據權利要求5所述的裝置，其特征在于，所述新聞爆發度計算模塊包括：
新聞聚類數計算模塊，配置為計算所述新聞熱詞在第一時刻的新聞聚類數和所述新聞熱詞在第二時刻的新聞聚類數；
比較模塊，配置為比較所述第一時刻的新聞聚類數和所述第二時刻的新聞聚類數；
處理模塊，配置為若所述第二時刻的新聞聚類數大于所述第一時刻的新聞聚類數超過預設閾值，則將所述第二時刻的新聞聚類數作為所述新聞熱詞的新聞爆發度。
8.根據權利要求6所述的裝置，其特征在于，所述第一熱度計算模塊還包括：
加權處理模塊，配置為根據所述網站的規模，對所述網站的新聞聚類數進行加權處理。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于百度在線網絡技術（北京）有限公司，未經百度在線網絡技術（北京）有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201711320431.6/1.html，轉載請聲明來源鉆瓜專利網。
