[發明專利]一種網頁數據采集方法、裝置、系統及介質

有效

• 申請號: 202110258442.6
• 申請日: 2021-03-09
• 公開（公告）號: CN112948659B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 葉世立
• 申請（專利權）人: 深圳九星互動科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9536
• 代理公司: 廣東良馬律師事務所 44395
• 代理人: 李良

本發明公開了一種網頁數據采集方法、裝置、系統及介質，方法包括：接收網頁數據采集請求并生成相應的采集配置文件；根據所述采集配置文件生成若干個相應的網絡爬蟲并形成消息列隊；通過派發的采集任務控制所述消息列隊中的網絡爬蟲協同采集，獲取目標網頁數據；對所述目標網頁數據進行分類過濾后存儲至預設數據庫。本發明實施例通過將生成的網絡爬蟲形成消息列隊，在進行數據采集時通過派發采集任務控制所述消息列隊中的網絡爬蟲協同采集，使得能根據實際服務器資源負載靈活調整網絡爬蟲的采集任務，有效均衡了網頁數據采集時的服務器資源負載。

技術領域

本發明涉及互聯網技術領域，尤其涉及一種網頁數據采集方法、裝置、系統及介質。

背景技術

在制作新網頁時，由于是新搭建的沒有任何數據的網址，需要開發人員按需求在新網址中填充例如新聞等內容，如果采用人工手動上傳則會產生很大的人力物力成本，而采用搜索引擎能更加快速地獲取相關網絡信息。

搜索引擎從互聯網上搜集信息的過程主要依賴于網絡爬蟲對網站信息的爬取，然而目前的網絡爬蟲采集過程缺乏協同控制，導致數據采集過程服務器資源負載不均衡。

因此，現有技術還有待于改進和發展。

發明內容

鑒于上述現有技術的不足，本發明的目的在于提供一種網頁數據采集方法、裝置、系統及介質，旨在解決現有技術中網頁數據采集中缺乏協同控制服務器資源分配不均衡的問題。

本發明的技術方案如下：

一種網頁數據采集方法，其包括如下步驟：

接收網頁數據采集請求并生成相應的采集配置文件；

根據所述采集配置文件生成若干個相應的網絡爬蟲并形成消息列隊；

通過派發的采集任務控制所述消息列隊中的網絡爬蟲協同采集，獲取目標網頁數據；

對所述目標網頁數據進行分類過濾后存儲至預設數據庫。

所述的網頁數據采集方法中，所述接收網頁數據采集請求并生成相應的采集配置文件，具體包括：

接收用戶輸入的網頁數據采集請求并根據所述網頁數據采集請求中的采集目標生成相應的采集配置文件。

所述的網頁數據采集方法中，所述根據所述采集配置文件生成若干個相應的網絡爬蟲并形成消息列隊，包括：

對所述采集配置文件進行解析，獲取所述采集配置文件中的配置信息；

根據所述配置信息生成若干個與所述配置信息匹配的網絡爬蟲；

將所有的網絡爬蟲加入預先建立的消息列隊中。

所述的網頁數據采集方法中，所述通過派發的采集任務控制所述消息列隊中的網絡爬蟲協同采集，獲取目標網頁數據之前，還包括：

將所述消息列隊中的網絡爬蟲按預設分配規則分配至具有預設架構的若干服務器中。

所述的網頁數據采集方法中，所述通過派發的采集任務控制所述消息列隊中的網絡爬蟲協同采集，獲取目標網頁數據，包括：

檢測各個服務器當前的資源占用率并派發采集任務；

根據接收到的采集任務控制相應的網絡爬蟲開啟采集，直到采集完成獲取目標網頁數據。

所述的網頁數據采集方法中，所述檢測各個服務器當前的資源占用率并派發采集任務，具體包括：

檢測各個服務器當前的資源占用率并按資源占用率由低到高的順序派發采集任務。

所述的網頁數據采集方法中，所述配置信息包括網站信息、信息類型、字段信息提取規則中的至少一項。