[發明專利]一種基于關鍵字搜索的微博熱門話題提取方法及系統

在審

• 申請號: 201810593368.1
• 申請日: 2018-06-11
• 公開（公告）號: CN108763583A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 李萍
• 申請（專利權）人: 山東匯貿電子口岸有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q50/00
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 高經

本發明公開了一種基于關鍵字搜索的微博熱門話題提取方法及系統，屬于云計算技術領域。本發明的基于關鍵字搜索的微博熱門話題提取方法，利用網絡爬蟲結合微博的高級搜索功能，獲取指定時間內用戶發布的含有關鍵字的所有微博數據，利用Hadoop平臺實現微博數據的處理與分析，提取出熱門話題。該發明的基于關鍵字搜索的微博熱門話題提取方法能夠快速、精確的得到熱門話題，從而有助于掌握熱點事件，具有很好的推廣應用價值。

技術領域

本發明涉及云計算技術領域，具體提供一種基于關鍵字搜索的微博熱門話題提取方法及系統。

背景技術

隨著社會的不斷進步，社會經濟、科技技術不斷的發展，計算機的應用范圍越來越廣泛，導致互聯網發展越來越迅速。隨著互聯網的發展，論壇、博客等社交網絡平臺不斷涌現，社交網絡平臺的交互性和即時性產生了海量的數據信息。而如何獲取這些數據信息并挖掘它們的潛在價值已經成為目前亟待解決的問題。在不斷涌現的社交網路平臺中，微博憑借其傳播內容碎片化、傳播主題草根化等特點迅速發展，其中用戶群規模和社會影響力最大的當屬新浪微博。相對來說新浪微博中的微博熱門話題會帶來更多的價值，更受關注，因此，獲取新浪微博中的所有熱門話題具有重要意義。但是現有技術中，還沒有方便精確的獲取微博熱門話題的方法，有待進一步的開發。

發明內容

本發明的技術任務是針對上述存在的問題，提供一種能夠快速、精確的獲得熱門話題，從而有助于掌握熱點事件的基于關鍵字搜索的微博熱門話題提取方法。

本發明進一步的技術任務是提供一種基于關鍵字搜索的微博熱門話題提取系統。

為實現上述目的，本發明提供了如下技術方案：

一種基于關鍵字搜索的微博熱門話題提取方法，所述方法利用網絡爬蟲結合微博的高級搜索功能，獲取指定時間內用戶發布的含有關鍵字的所有微博數據，利用Hadoop平臺實現微博數據的處理與分析，提取出熱門話題。

本發明中利用了Hadoop的兩大核心設計：HDFS和MapReduce。

作為優選，所述方法具體包括以下步驟：

S1：數據采集

利用網絡爬蟲模擬登錄和多賬戶輪換的分布式數據采集策略；

S2：數據存儲與遷移

采用關系型數據庫和HDFS分布式文件系統相結合來存儲數據，采用數據遷移工具實現數據在關系型數據庫和HDFS分布式文件系統間的遷移；

S3：數據處理與分析

利用MapReduce計算模型對獲取的微博數據進行處理與分析。

為了保護用戶數據和個人隱私，新浪微博限制了用戶的訪問權限，用戶只有通過登錄且通過驗證后才可以瀏覽全部信息。此外，新浪微博還對用戶的IP地址和每小時訪問次數做了嚴格限制，再加上數據量過于龐大，采用單機或者集中式數據采集策略都是不可取的，本發明中采用網絡爬蟲模擬登錄和多賬戶輪換的分布式數據采集策略提高爬取效率。

由于關系型數據庫主要面向結構化的數據，而且不能滿足大規模數據分析的需求，所以本發明中主要利用HDFS分布式文件系統來存儲網頁內容。但關系型數據庫具有便捷的數據查詢分析能力、快速的事務處理能力以及多用戶并發訪問能力，因此可以將處理后的結構化數據存儲到關系型數據庫中，以便進行快速的查詢和檢索操作，而不同數據庫間的遷移工作可以通過數據遷移工具完成。

作為優選，步驟S1中所述網絡爬蟲包括權限驗證模塊、網頁抓取模塊、頁面解析模塊、URL調度模塊和持久化模塊，權限驗證模塊負責驗證每個網絡爬蟲的賬戶權限；網頁抓取模塊不斷從URL調度模塊中獲取URL，與Web服務器進行交互采集網頁內容，將網頁內容發送到頁面解析模塊；頁面解析模塊從網頁內容中提取新的URL并發送到URL調度模塊，同時將整個網頁內容發送到持久化模塊。