[發明專利]一種根據微博用戶庫采集微博內容的方法及設備

在審

• 申請號: 201310476149.2
• 申請日: 2013-10-12
• 公開（公告）號: CN103593399A
• 公開（公告）日: 2014-02-19
• 發明（設計）人: 馮青松
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市中倫律師事務所 11410
• 代理人: 張思悅

技術領域

本發明屬于計算機技術領域，尤其涉及一種根據微博用戶庫采集微博內容的方法及設備。

背景技術

隨著時代的發展和進步，像“微博”這種社交服務平臺應運而生，并逐漸滲透到社會的各個方面。微博以其短小快捷的獨特魅力迅速吸引了大量用戶，引發微博議事浪潮。跟其他信息傳播方式相比，微博有其獨到之處。首先，它能更快速地發布和傳播信息。由于字數的限制，微博發布的內容短小精悍。第二，微博可以允許任何人或指定人群閱讀、回復、轉發，實現了一對多、多對多的傳播。第三，微博的傳播效果更為顯著。短小精悍的信息在達到受眾層面時，不會耗費太多的時間去理解，內容的簡易使其更容易被接受。第四，微博具有實時交互傳播的特性。

與傳統互聯網信息抓取不同，微博內容抓取要求有更高的時效性。目前常用的抓取方式是，注冊一批僵尸用戶，通過這些僵尸用戶關注一批質量比較的微博用戶，然后不斷抓取這批微博用戶的微博內容，同時這些僵尸用戶自身也會發布或轉發一些微博內容，其中充斥大量無用或廣告等內容，因此使得在微博中傳播的內容非常之多，如何從中找到或辨別高質量微博內容也非常困難。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的根據微博用戶庫采集微博內容的方法及設備。

依據本發明的一個方面，提供了一種根據微博用戶庫采集微博內容的方法，其包括：判斷所述微博用戶庫中預先選定的微博用戶是否符合預先定義的條件；如果所述預先選定的微博用戶不符合預先定義的條件，則將所述微博用戶庫中預先選定的微博用戶的選定狀態標識為非選定；如果所述預先選定的微博用戶符合預先定義的條件，則保持所述微博用戶庫中預先選定的微博用戶的選定狀態不變；對微博用戶庫中標識選定狀態的微博用戶對應發布或轉發的微博內容進行采集。

可選地，所述判斷所述微博用戶庫中預先選定的微博用戶是否符合預先定義的條件的步驟包括：判斷所述微博用戶庫中微博用戶是否為惡意注冊用戶，如果所述預先選定的微博用戶為惡意注冊用戶，則判斷結果為所述預先選定的微博用戶不符合預先定義的條件，如果所述預先選定的微博用戶不是惡意注冊用戶，則判斷結果為所述預先選定的微博用戶符合預先定義的條件；和/或者判斷所述微博用戶庫中的預先選定的微博用戶的活躍度是否低于預先設定的活躍度閾值，如果所述微博用戶的活躍度低于預先設定的活躍度閾值，則判斷結果為所述預先選定的微博用戶不符合預先定義的條件；如果所述微博用戶的活躍度不低于預先設定的活躍度閾值，則判斷結果為所述預先選定的微博用戶符合預先定義的條件，其中所述活躍度包括：微博用戶發布或轉發微博的頻率、微博用戶的連續登錄時間和微博用戶的當天在線時間中的任意一種或多種組合。

可選地，所述判斷所述微博用戶庫中微博用戶是否為惡意注冊用戶的步驟包括：判斷所述微博用戶的用戶評分值是否低于預先設定的惡意注冊評分值；如果所述微博用戶的用戶評分值低于預先設定的惡意注冊評分值，則判斷結果為所述微博用戶是惡意注冊用戶；如果所述微博用戶的用戶評分值不低于預先設定的惡意注冊評分值，則判斷結果為所述微博用戶不是惡意注冊用戶。

可選地，所述用戶評分值基于微博用戶關注的用戶數、微博用戶的粉絲數和微博用戶發布的微博數計算得到。

可選地，所述方法還包括：采集發布和/或轉發與熱門關鍵詞或熱門關鍵詞組相關的微博內容的微博用戶；將采集到的微博用戶更新到所述微博用戶庫中，并將采集到的微博用戶的選定狀態標識為選定。

依據本發明的另一個方面，還提供了一種根據微博用戶庫采集微博內容的設備，其包括：判斷模塊，用于判斷所述微博用戶庫中預先選定的微博用戶是否符合預先定義的條件；選定狀態更新模塊，用于在所述判斷模塊判斷出所述預先選定的微博用戶不符合預先定義的條件的情況下，將所述微博用戶庫中預先選定的微博用戶的選定狀態標識為非選定；以及用于在所述判斷模塊判斷出所述預先選定的微博用戶符合預先定義的條件的情況下，保持所述微博用戶庫中預先選定的微博用戶的選定狀態不變；第一采集模塊，用于對微博用戶庫中標識選定狀態的微博用戶對應發布或轉發的微博內容進行采集。