[發明專利]一種基于用戶關聯關系的微博數據采集方法

在審

• 申請號: 201410058585.2
• 申請日: 2014-02-20
• 公開（公告）號: CN103810283A
• 公開（公告）日: 2014-05-21
• 發明（設計）人: 王磊;林俊杰;王飛躍;曾大軍;祖全楠;毛文吉
• 申請（專利權）人: 東莞中國科學院云計算產業技術創新與育成中心;中國科學院自動化研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

技術領域

本發明涉及數據采集技術領域，尤其是一種基于用戶關聯關系的微博數據采集方法。

背景技術

隨著互聯網時代的到來以及移動設備的普及，人們越來越多地使用身邊的信息傳輸媒介，如：個人計算機銓智能手機等，在互聯網中與他人分享自己的近況銓觀點。微博，作為一個基于用戶關系的信息分享銓傳播以及獲取平臺，在最近的幾年中得到了極其迅猛的發展，微博已經成為全世界的網民們表達意愿銓分享心情的重要渠道。

如今，針對微博數據的采集主要是通過兩種方式：網絡爬蟲和微博API。針對新浪微博，廉捷等人分別實現了基于新浪微博API的數據采集以及基于網絡爬蟲的頁面解析，通過對這兩種方式獲取到的實驗數據進行比較，他們得出結論：網絡爬蟲能夠獲得較大信息量的數據，而新浪API方式能夠獲得更加全面的用戶信息以及用戶的最新微博，并且API返回的結果文件大小較小。廉捷等人最后也提出了一套結合API與網絡爬蟲的微博數據挖掘方案，然而，該方案只是一個原型，并不能實際應用于對用戶微博數據的大規模采集。

針對新浪微博API的請求次數限制和返回結果的大小限制，周鑫等人通過在程序中設定定時器等方法，設計了采用新浪微博API的數據挖掘算法，對用戶的關注網絡銓粉絲網絡和雙向關注網絡進行數據挖掘，并根據挖掘結果構建了新浪微博用戶的網絡結構圖。該算法較適用于采集用戶關系，但卻并不適用于采集大量的用戶微博信息，并且由于定時器的存在，該算法的數據采集效率較為低下。

目前，在針對關鍵詞的微博內容搜索方面，新浪微博和搜狐微博的關鍵詞搜索引擎對每個關鍵詞的搜索結果上限約為1000條左右，網易微博關鍵詞搜索引擎對每個關鍵詞的搜索結果上限約為900條左右，騰訊微博關鍵詞搜索引擎對每個關鍵詞的搜索結果上限約為750條左右。由此可見，目前大多數微博搜索引擎向用戶展示的關鍵詞搜索結果數量十分有限，無法滿足獲取充足的微博關鍵詞搜索結果這一需求。同時，微博搜索引擎對一些合法關鍵詞的微博搜索結果進行了屏蔽，從而給包含這些關鍵詞的微博信息采集工作帶來了較大的困難。

發明內容

本發明解決的技術問題在于提供一種基于用戶關聯關系的微博數據采集方法；解決現有微博搜索引擎展示給用戶的關鍵詞搜索結果數量十分有限；以及，現有微博搜索引擎對部分合法關鍵詞進行屏蔽從而導致無法獲得包含被屏蔽關鍵詞的微博數據問題。

本發明解決上述技術問題的技術方案是：

采用網絡爬蟲的方式對微博平臺上包含特定關鍵詞的微博信息進行采集，在采集的過程中以用戶之間的關聯關系作為微博爬蟲的鏈接，首先根據指定的關鍵詞獲取微博爬蟲的種子用戶，然后通過抓取網頁的方式獲取用戶的微博頁面，采集其中包含關鍵詞的微博信息，選取出具有潛力的用戶，并同時采集有潛力用戶的關聯關系以獲取微博爬蟲的下一級鏈接，從而實現微博信息的自動搜索與采集。

所述的微博信息包括微博id銓博主信息銓博文內容銓發布時間銓微博來源銓評論信息等；用戶關聯關系包括用戶之間的粉絲關系和微博評論關系。

選取具有潛力用戶的方法是判斷用戶是否發表過包含關鍵詞的微博，若發表過，則說明該用戶是有潛力的；否則，說明該用戶沒有繼續深入搜索的潛力。

獲取微博爬蟲下一級鏈接的方法是對于已經采集到的每條包含關鍵詞的微博，將該微博的所有評論者和該微博博主的所有粉絲作為微博爬蟲的下一級鏈接。

所述的獲級微博爬蟲種子的方法是判斷關鍵詞是否被屏蔽，若關鍵詞被屏蔽，則以重點博主作為微博爬蟲的種子；若關鍵詞未被屏蔽，則將微博搜索頁面上該關鍵詞所有搜索結果的評論者和所有博主的粉絲作為微博爬蟲的種子。

所述的判斷關鍵詞是否被屏蔽的方法是若關鍵詞的微博搜索結果頁面上出現類似“根據相關法律法規和政策，搜索結果未予顯示”的語句，則表示該關鍵詞被屏蔽；否則，說明該關鍵詞未被屏蔽；

所述的重點博主由人為設定，在開始數據采集前已存入數據庫中，可以有多個重點博主。

本發明方法的有益效果如下：

1銓基于用戶之間的粉絲關系和微博評論關系，在已有微博搜索結果的基礎上進行逐層深入的搜索，自動采集包含關鍵詞的微博信息，在搜索結果的數量上相比于現有各大微博的搜索頁面具有比較明顯的優勢。

2銓針對被微博搜索引擎屏蔽的關鍵詞，采用事先設定的重點博主庫中的微博用戶作為網絡爬蟲的種子，實現了針對屏蔽詞的微博內容搜索。