[發明專利]一種基于用戶關聯關系的微博數據采集方法

在審

• 申請號: 201410058585.2
• 申請日: 2014-02-20
• 公開（公告）號: CN103810283A
• 公開（公告）日: 2014-05-21
• 發明（設計）人: 王磊;林俊杰;王飛躍;曾大軍;祖全楠;毛文吉
• 申請（專利權）人: 東莞中國科學院云計算產業技術創新與育成中心;中國科學院自動化研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種基于用戶關聯關系的微博數據采集方法，其特征在于：采用網絡爬蟲的方式對微博平臺上包含特定關鍵詞的微博信息進行采集，在采集的過程中以用戶之間的關聯關系作為微博爬蟲的鏈接，首先根據指定的關鍵詞獲取微博爬蟲的種子用戶，然后通過抓取網頁的方式獲取用戶的微博頁面，采集其中包含關鍵詞的微博信息，選取出具有潛力的用戶，并同時采集有潛力用戶的關聯關系以獲取微博爬蟲的下一級鏈接，從而實現微博信息的自動搜索與采集。

2.根據權利要求1所述的的微博數據采集方法，其特征在于：所述的微博信息包括微博id、博主信息、博文內容、發布時間、微博來源、評論信息等；用戶關聯關系包括用戶之間的粉絲關系和微博評論關系。

3.根據權利要求1中所述的的微博數據采集方法，其特征在于：選取具有潛力用戶的方法是判斷用戶是否發表過包含關鍵詞的微博，若發表過，則說明該用戶是有潛力的；否則，說明該用戶沒有繼續深入搜索的潛力。

4.根據權利要求2中所述的的微博數據采集方法，其特征在于：選取具有潛力用戶的方法是判斷用戶是否發表過包含關鍵詞的微博，若發表過，則說明該用戶是有潛力的；否則，說明該用戶沒有繼續深入搜索的潛力。

5.根據權利要求1至4任一項中所述的的微博數據采集方法，其特征在于：獲取微博爬蟲下一級鏈接的方法是對于已經采集到的每條包含關鍵詞的微博，將該微博的所有評論者和該微博博主的所有粉絲作為微博爬蟲的下一級鏈接。

6.根據權利要求1至4任一項所述的的微博數據采集方法，其特征在于：所述的獲取微博爬蟲種子的方法是判斷關鍵詞是否被屏蔽，若關鍵詞被屏蔽，則以重點博主作為微博爬蟲的種子；若關鍵詞未被屏蔽，則將微博搜索頁面上該關鍵詞所有搜索結果的評論者和所有博主的粉絲作為微博爬蟲的種子。

7.根據權利要求5所述的的微博數據采集方法，其特征在于：所述的獲取微博爬蟲種子的方法是判斷關鍵詞是否被屏蔽，若關鍵詞被屏蔽，則以重點博主作為微博爬蟲的種子；若關鍵詞未被屏蔽，則將微博搜索頁面上該關鍵詞所有搜索結果的評論者和所有博主的粉絲作為微博爬蟲的種子。

8.根據權利要求6所述的的微博數據采集方法，其特征在于：所述的判斷關鍵詞是否被屏蔽的方法是若關鍵詞的微博搜索結果頁面上出現類似“根據相關法律法規和政策，搜索結果未予顯示”的語句，則表示該關鍵詞被屏蔽；否則，說明該關鍵詞未被屏蔽；

所述的重點博主由人為設定，在開始數據采集前已存入數據庫中，可以有多個重點博主。

9.根據權利要求7所述的的微博數據采集方法，其特征在于：所述的判斷關鍵詞是否被屏蔽的方法是若關鍵詞的微博搜索結果頁面上出現類似“根據相關法律法規和政策，搜索結果未予顯示”的語句，則表示該關鍵詞被屏蔽；否則，說明該關鍵詞未被屏蔽；

所述的重點博主由人為設定，在開始數據采集前已存入數據庫中，可以有多個重點博主。