[發明專利]爬蟲框架

在審

• 申請號: 202011138966.3
• 申請日: 2020-10-22
• 公開（公告）號: CN112148950A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 楊宏;何云飛;謝凱
• 申請（專利權）人: 深圳市比希科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F9/54
• 代理公司: 深圳市中智立信知識產權代理有限公司 44427
• 代理人: 劉蕊

1.一種爬蟲框架，其特征在于，包括：調度器、下載器、頁面解析器，

調度器中預先設置有爬蟲抓取的第一個URL；

爬蟲框架進入調度器的循環體；

在下載頁面功能中，爬蟲框架調用下載器下載第一個URL，下載器中默認存有請求頭部信息列表、使用時也可以自定義headers信息；

下載器下載的內容將由解析內容功能調用頁面解析器進行配置數據提取規則獲取數據；

解析內容獲得的數據中，獲取的URL可以存入內存緩存數據庫中，存儲時使用hash數據類型，URL作為鍵，以防止緩存數據中URL重復；使用高并發的內存數據庫以減小數據緩存對系統性能的影響，從而提高爬蟲的并發性能；解析的數據可以直接存入消息隊列，最終存入數據庫中，使用消息隊列作為數據緩沖區將數據解析與數據庫解耦，以減弱相對較低的數據庫并發性能對數據抓取性能的限制，提高爬蟲的并發性能；

如果循環體未達到結束條件，那么會繼續執行循環體進入下一次循環，但此時下載器中使用的URL來自緩存數據庫，每次從緩存數據庫取出一條URL，便會將該URL從緩存數據庫中刪除；

如果循環體達到結束條件，整個爬蟲框架執行就結束。

2.根據權利要求1所述的爬蟲框架，其特征在于，循環體可以部署在多臺服務器上執行,從而提供爬蟲的并發性能。

3.根據權利要求1所述的爬蟲框架，其特征在于，將爬蟲的下載器、頁面解析器、配置中心、數據存儲進行模塊化設計，便于對每個功能的單獨使用、調試。同時，開發者在使用時，可以單獨使用每個模塊，而不依賴其他獨立模塊。

4.根據權利要求1所述的爬蟲框架，其特征在于，如果URL頁面下載或者解析失敗，那么該數據將依據實際情況放回緩存數據庫或者拋棄。