[發明專利]一種微博信息抓取方法及裝置

在審

• 申請號: 201310334946.7
• 申請日: 2013-08-02
• 公開（公告）號: CN103366018A
• 公開（公告）日: 2013-10-23
• 發明（設計）人: 韓中騰;崔世起
• 申請（專利權）人: 人民搜索網絡股份公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種微博信息抓取方法，其特征在于，所述方法包括：

獲取待抓取微博用戶，并判斷所述待抓取微博用戶的類型；

如果所述待抓取微博用戶為活躍用戶，則計算該待抓取微博用戶的抓取周期，并根據所述抓取周期預測抓取時間點進行微博信息抓取；

如果所述待抓取微博用戶為非活躍用戶，則獲取該待抓取微博用戶的抓取狀態以及剩余抓取用戶量，如果所述抓取狀態表示能進行微博信息抓取，且所述剩余抓取用戶量不為零，則對所述待抓取微博用戶進行微博信息抓取。

2.根據權利要求1所述的方法，其特征在于，所述獲取待抓取微博用戶，包括：

選取至少一個認證用戶作為種子用戶，并將所述種子用戶作為未處理用戶添加到用戶列表；

判斷所述未處理用戶是否具有下級用戶：

如果具有，則獲取該未處理用戶的下級用戶，并將所述下級用戶添加到所述用戶列表，設置所述未處理用戶的狀態為已處理；將所述下級用戶作為未處理用戶，繼續執行所述判斷未處理用戶是否具有下級用戶的步驟；

如果不具有，則設置該未處理用戶的狀態為已處理。

3.根據權利要求2所述的方法，其特征在于，所述獲取該未處理用戶的下級用戶，包括：

通過所述未處理用戶的用戶關系網獲取所述下級用戶；或者，

抓取評論和/或轉發所述未處理用戶發布的微博的用戶作為所述下級用戶。

4.根據權利要求1所述的方法，其特征在于，所述判斷所述待抓取微博用戶的類型，包括：

根據所述待抓取微博用戶發布微博的頻率確定用戶活躍度；

根據預設活躍值與所述用戶活躍度判斷所述待抓取微博用戶的類型，如果所述用戶活躍度不小于所述預設活躍值，則判定所述待抓取微博用戶為活躍用戶；否則判定所述待抓取微博用戶為非活躍用戶。

5.根據權利要求1所述的方法，其特征在于，所述根據所述待抓取微博用戶發布微博的頻率確定用戶活躍度，包括：

根據所述待抓取微博用戶發布的微博計算用戶的平均發帖間隔；

從預設數據庫中查找與所述平均發帖間隔相對應的活躍度。

6.一種微博信息抓取裝置，其特征在于，所述裝置包括：

第一獲取單元，用于獲取待抓取微博用戶；

第一判斷單元，用于判斷所述第一獲取單元獲取的待抓取微博用戶的類型；

計算單元，用于在所述第一判斷單元判定所述待抓取微博用戶為活躍用戶時，計算該待抓取微博用戶的抓取周期；

抓取單元，用于根據所述抓取周期預測抓取時間點進行微博信息抓取；

第二獲取單元，用戶在所述第一判斷單元判定所述待抓取微博用戶為非活躍用戶時，獲取該待抓取微博用戶的抓取狀態以及剩余抓取用戶量；

所述抓取單元，還用于在所述抓取狀態表示能進行微博信息抓取，且所述剩余抓取用戶量不為零時，對所述待抓取微博用戶進行微博信息抓取。

7.根據權利要求6所述的裝置，其特征在于，所述第一獲取單元包括：

選取單元，用于選取至少一個認證用戶作為種子用戶，并將所述種子用戶作為未處理用戶添加到用戶列表；

第二判斷單元，用于判斷所述未處理用戶是否具有下級用戶：

第三獲取單元，用于在所述第二判斷單元判定所述未處理用戶具有下級用戶時，獲取該未處理用戶的下級用戶，

添加單元，用于將所述下級用戶添加到所述用戶列表，設置所述未處理用戶的狀態為已處理；將所述下級用戶作為未處理用戶，通知所述第二判斷單元繼續判斷未處理用戶是否具有下級用戶；

設置單元，用于在所述第二判斷單元判定所述未處理用戶不具有下級用戶時，則設置該未處理用戶的狀態為已處理。

8.根據權利要求7所述的裝置，其特征在于，

所述第三獲取單元，具體用于通過所述未處理用戶的用戶關系網獲取所述下級用戶；或者，

所述第三獲取單元，具體用于抓取評論和/或轉發所述未處理用戶發布的微博的用戶作為所述下級用戶。