[發明專利]一種基于關鍵字搜索的微博熱門話題提取方法及系統

在審

• 申請號: 201810593368.1
• 申請日: 2018-06-11
• 公開（公告）號: CN108763583A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 李萍
• 申請（專利權）人: 山東匯貿電子口岸有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q50/00
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 高經

1.一種基于關鍵字搜索的微博熱門話題提取方法，其特征在于：所述方法利用網絡爬蟲結合微博的高級搜索功能，獲取指定時間內用戶發布的含有關鍵字的所有微博數據，利用Hadoop平臺實現微博數據的處理與分析，提取出熱門話題。

2.根據權利要求1所述的基于關鍵字搜索的微博熱門話題提取方法，其特征在于：所述方法具體包括以下步驟：

S1：數據采集

利用網絡爬蟲模擬登錄和多賬戶輪換的分布式數據采集策略；

S2：數據存儲與遷移

采用關系型數據庫和HDFS分布式文件系統相結合來存儲數據，采用數據遷移工具實現數據在關系型數據庫和HDFS分布式文件系統間的遷移；

S3：數據處理與分析

利用MapReduce計算模型對獲取的微博數據進行處理與分析。

3.根據權利要求2所述的基于關鍵字搜索的微博熱門話題提取方法，其特征在于：步驟S1中所述網絡爬蟲包括權限驗證模塊、網頁抓取模塊、頁面解析模塊、URL調度模塊和持久化模塊，權限驗證模塊負責驗證每個網絡爬蟲的賬戶權限；網頁抓取模塊不斷從URL調度模塊中獲取URL，與Web服務器進行交互采集網頁內容，將網頁內容發送到頁面解析模塊；頁面解析模塊從網頁內容中提取新的URL并發送到URL調度模塊，同時將整個網頁內容發送到持久化模塊。

4.根據權利要求3所述的基于關鍵字搜索的微博熱門話題提取方法，其特征在于：所述持久化模塊將網頁內容進行壓縮并寫入HDFS。

5.根據權利要求4所述的基于關鍵字搜索的微博熱門話題提取方法，其特征在于：步驟S2中所述數據遷移工具為Sqoop。

6.根據權利要求5所述的基于關鍵字搜索的微博熱門話題提取方法，其特征在于：步驟S3中MapReduce計算模型將微博數據的處理過程抽象為Map函數和Reduce函數，Map函數將微博數據進行初步處理，Reduce函數將中間結果匯總得最終結果。

7.一種基于關鍵字搜索的微博熱門話題提取系統，其特征在于：包括數據采集單元、數據存儲與遷移單元和數據處理與分析單元，所述數據采集單元用于采集含有關鍵字的所有微博數據；數據存儲與遷移單元用于將采集的微博數據進行存儲并遷移；數據處理與分析單元用于將采集的微博數據進行處理與分析。

8.根據權利要求7所述的基于關鍵字搜索的微博熱門話題提取系統，其特征在于：所述數據采集單元利用網絡爬蟲模擬登錄和多賬戶輪換的分布式數據采集策略。

9.根據權利要求7或8所述的基于關鍵字搜索的微博熱門話題提取系統，其特征在于：所述數據存儲與遷移單元采用關系型數據庫和HDFS分布式文件系統相結合來存儲數據，采用數據遷移工具實現數據在關系型數據庫和HDFS分布式文件系統間的遷移。

10.根據權利要求9所述的基于關鍵字搜索的微博熱門話題提取系統，其特征在于：所述數據處理與分析單元利用MapReduce計算模型對微博數據進行處理與分析。