[發明專利]一種網頁數據采集方法、裝置、系統及介質

有效

• 申請號: 202110258442.6
• 申請日: 2021-03-09
• 公開（公告）號: CN112948659B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 葉世立
• 申請（專利權）人: 深圳九星互動科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9536
• 代理公司: 廣東良馬律師事務所 44395
• 代理人: 李良

1.一種網頁數據采集方法，其特征在于，包括如下步驟：

接收網頁數據采集請求并生成相應的采集配置文件；

根據所述采集配置文件生成若干個相應的網絡爬蟲并形成消息列隊；

通過派發的采集任務控制所述消息列隊中的網絡爬蟲協同采集，獲取目標網頁數據；

對所述目標網頁數據進行分類過濾后存儲至預設數據庫；

所述接收網頁數據采集請求并生成相應的采集配置文件，具體包括：

接收用戶輸入的網頁數據采集請求并根據所述網頁數據采集請求中的采集目標生成相應的采集配置文件；

所述根據所述采集配置文件生成若干個相應的網絡爬蟲并形成消息列隊，包括：

對所述采集配置文件進行解析，獲取所述采集配置文件中的配置信息，所述配置信息包括網站信息、信息類型、字段信息提取規則中的至少一項，其中信息類型按時間分類獲得目標時間段的網頁數據，或者按領域分類獲得目標領域內的網頁數據；

根據所述配置信息生成若干個與所述配置信息匹配的網絡爬蟲；

將所有的網絡爬蟲加入預先建立的消息列隊中；

所述通過派發的采集任務控制所述消息列隊中的網絡爬蟲協同采集，獲取目標網頁數據之前，還包括：

將所述消息列隊中的網絡爬蟲按預設分配規則分配至具有預設架構的若干服務器中；

具體按采集的信息類型不同將相應的網絡爬蟲分配至不同的服務器；

所述通過派發的采集任務控制所述消息列隊中的網絡爬蟲協同采集，獲取目標網頁數據，包括：

檢測各個服務器當前的資源占用率并派發采集任務；每次分派采集任務時，均優先向已完成前一次采集任務且資源占用率最低的服務器派發；

根據接收到的采集任務控制相應的網絡爬蟲開啟采集，直到采集完成獲取目標網頁數據。

2.根據權利要求1所述的網頁數據采集方法，其特征在于，所述檢測各個服務器當前的資源占用率并派發采集任務，具體包括：

檢測各個服務器當前的資源占用率并按資源占用率由低到高的順序派發采集任務。

3.一種網頁數據采集裝置，其特征在于，所述裝置包括：

配置模塊，用于接收網頁數據采集請求并生成相應的采集配置文件；

生成模塊，用于根據所述采集配置文件生成若干個相應的網絡爬蟲并形成消息列隊；

控制模塊，用于通過派發的采集任務控制所述消息列隊中的網絡爬蟲協同采集，獲取目標網頁數據；

存儲模塊，用于對所述目標網頁數據進行分類過濾后存儲至預設數據庫；

配置模塊具體用于接收用戶輸入的網頁數據采集請求并根據所述網頁數據采集請求中的采集目標生成相應的采集配置文件；

生成模塊具體用于對所述采集配置文件進行解析，獲取所述采集配置文件中的配置信息，所述配置信息包括網站信息、信息類型、字段信息提取規則中的至少一項，其中信息類型按時間分類獲得目標時間段的網頁數據，或者按領域分類獲得目標領域內的網頁數據；根據所述配置信息生成若干個與所述配置信息匹配的網絡爬蟲；將所有的網絡爬蟲加入預先建立的消息列隊中；

控制模塊還用于將所述消息列隊中的網絡爬蟲按預設分配規則分配至具有預設架構的若干服務器中；具體按采集的信息類型不同將相應的網絡爬蟲分配至不同的服務器；

控制模塊還用于檢測各個服務器當前的資源占用率并派發采集任務；每次分派采集任務時，均優先向已完成前一次采集任務且資源占用率最低的服務器派發；

根據接收到的采集任務控制相應的網絡爬蟲開啟采集，直到采集完成獲取目標網頁數據。

4.一種網頁數據采集系統，其特征在于，所述系統包括至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-2任一項所述的網頁數據采集方法。

5.一種非易失性計算機可讀存儲介質，其特征在于，所述非易失性計算機可讀存儲介質存儲有計算機可執行指令，該計算機可執行指令被一個或多個處理器執行時，可使得所述一個或多個處理器執行權利要求1-2任一項所述的網頁數據采集方法。