[發明專利]爬蟲框架

在審

• 申請號: 202011138966.3
• 申請日: 2020-10-22
• 公開（公告）號: CN112148950A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 楊宏;何云飛;謝凱
• 申請（專利權）人: 深圳市比希科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F9/54
• 代理公司: 深圳市中智立信知識產權代理有限公司 44427
• 代理人: 劉蕊

本發明提供了一種爬蟲框架，包括：調度器、下載器、頁面解析器，調度器中預先設置有爬蟲抓取的第一個URL；爬蟲框架進入調度器的循環體；在下載頁面功能中，爬蟲框架調用下載器下載第一個URL，下載器中默認存有請求頭部信息列表、使用時也可以自定義headers信息；下載器下載的內容將由解析內容功能調用頁面解析器進行配置數據提取規則獲取數據；解析內容獲得的數據中，獲取的URL可以存入內存緩存數據庫中，存儲時使用hash數據類型，URL作為鍵；解析的數據直接存入消息隊列，最終存入數據庫中。本發明具有較高的并發性能和較強的使用靈活性。

技術領域

本發明涉及網絡爬蟲技術領域，特別涉及一種爬蟲框架。

背景技術

網絡爬蟲技術廣泛用于互聯網行業。大數據的發展，數據挖掘技術的使用都依賴于海量的數據。而通過網絡爬蟲技術可以從互聯網獲取大量的信息數據。

龐大的網民群體產生巨量的數據，這對爬蟲技術的性能有較高要求。為獲取更多數據，爬蟲需要更高的性能。隨著數據相關的技術發展，工程實踐中對數據的存儲等有多種選擇，除了傳統的關系型數據庫，非關系型數據庫、分布式存儲成為了行業選擇。

但是，由于很多網站對網絡請求需要頭部信息，而一般的爬蟲框架中的默認頭部信息為空或者非瀏覽器頭部信息，因此，使用這些框架時需要手動加入請求頭部信息。進行數據爬取時，有些URL地址需要進行短暫存儲，如果存儲在程序執行的機器上，會消耗很多內存，同時在進行多線程執行程序時，需要防止數據重復?？蚣馨ǖ墓δ茌^多，但是在工程實踐中，并不是一定要使用該框架，而是只需要使用框架中的部分功能。

發明內容

本發明提供了一種爬蟲框架，以解決至少一個上述技術問題。

為解決上述問題，作為本發明的一個方面，提供了一種爬蟲框架，包括：調度器、下載器、頁面解析器，

調度器中預先設置有爬蟲抓取的第一個URL；

爬蟲框架進入調度器的循環體；

在下載頁面功能中，爬蟲框架調用下載器下載第一個URL，下載器中默認存有請求頭部信息列表、使用時也可以自定義headers信息；

下載器下載的內容將由解析內容功能調用頁面解析器進行配置數據提取規則獲取數據；

解析內容獲得的數據中，獲取的URL可以存入內存緩存數據庫中，存儲時使用hash數據類型，URL作為鍵，以防止緩存數據中URL重復；使用高并發的內存數據庫以減小數據緩存對系統性能的影響，從而提高爬蟲的并發性能；解析的數據可以直接存入消息隊列，最終存入數據庫中，使用消息隊列作為數據緩沖區將數據解析與數據庫解耦，以減弱相對較低的數據庫并發性能對數據抓取性能的限制，提高爬蟲的并發性能；

如果循環體未達到結束條件，那么會繼續執行循環體進入下一次循環，但此時下載器中使用的URL來自緩存數據庫，每次從緩存數據庫取出一條URL，便會將該URL從緩存數據庫中刪除；

如果循環體達到結束條件，整個爬蟲框架執行就結束。

優選地，循環體可以部署在多臺服務器上執行,從而提供爬蟲的并發性能。

優選地，將爬蟲的下載器、頁面解析器、配置中心、數據存儲進行模塊化設計，便于對每個功能的單獨使用、調試。同時，開發者在使用時，可以單獨使用每個模塊，而不依賴其他獨立模塊。

優選地，如果URL頁面下載或者解析失敗，那么該數據將依據實際情況放回緩存數據庫或者拋棄。

本發明具有較高的并發性能，使用消息隊列減小數據庫的性能對整體并發性能的影響；使用的內存數據庫也將減少數據傳輸、緩存消耗的時間，提高數據使用效率；具有較強的使用靈活性，實際使用時，可以使用部分功能，如單獨使用下載器、頁面解析器等，同時也可以使用這個框架。