[發明專利]一種基于自學習的數據爬取方法及裝置

在審

• 申請號: 202011155504.2
• 申請日: 2020-10-26
• 公開（公告）號: CN112231536A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 楊一未;郝永樂;吳薇;張丹
• 申請（專利權）人: 中國信息安全測評中心
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 尹秀

1.一種基于自學習的數據爬取方法，其特征在于，預先構建包括網站結構和爬蟲程序模板對應關系的網站結構數據庫，所述對應關系至少為一個，所述方法包括：

在接收到對當前網站的爬取請求時，獲取所述當前網站的網站結構；

遍歷所述網站結構數據庫，基于所述對應關系查找與所述網站結構匹配的第一目標爬蟲程序模板；

基于所述第一目標爬蟲程序模板對所述當前網站進行爬取；

在所述網站結構改變導致所述當前網站爬取異常時，繼續匹配所述網站結構數據庫查找與所述當前網站匹配的第二目標爬蟲程序模板；

基于所述第二目標爬蟲程序模板對所述當前網站進行爬取。

2.根據權利要求1所述的方法，其特征在于，還包括：

若基于所述第二目標爬蟲程序模板對所述當前網站爬取異常時，提示對所述當前網站的爬蟲程序進行人工修訂；

獲取修訂結果，基于所述修訂結果對所述網站結構數據庫進行更新。

3.根據權利要求2所述的方法，其特征在于，還包括：

對所述當前網站進行Ping操作，檢測所述當前網站是否運行異常，和/或，對所述第二目標爬蟲程序的應用進行檢測。

4.根據權利要求1所述的方法，其特征在于，還包括：

在所述網站結構數據庫中不存在所述第一目標爬蟲程序模板或所述第二目標爬蟲程序模板時，基于預設匹配規則，將所述網站結構數據庫中包括的各個爬蟲程序模板進行組合，得到各個待測試爬蟲程序模板；

基于所述各個待測試爬蟲程序模板對所述當前網站進行爬取，采用蟻群算法選取第三目標爬蟲程序模板；

基于所述第三目標爬蟲程序模板對所述當前網站進行爬取。

5.根據權利要求4所述的方法，其特征在于，還包括：

獲取所述當前網站的當前網站結構；

將所述第三目標爬蟲程序模板與所述當前網站結構的對應關系存儲至所述網站結構數據庫。

6.一種基于自學習的數據爬取裝置，其特征在于，預先構建包括網站結構和爬蟲程序模板對應關系的網站結構數據庫，所述對應關系至少為一個，所述方法包括：

第一獲取模塊，用于在接收到對當前網站的爬取請求時，獲取所述當前網站的網站結構；

第一查找模塊，用于遍歷所述網站結構數據庫，基于所述對應關系查找與所述網站結構匹配的第一目標爬蟲程序模板；

第一爬取模塊，用于基于所述第一目標爬蟲程序模板對所述當前網站進行爬取；

第二查找模塊，用于在所述網站結構改變導致所述當前網站爬取異常時，繼續匹配所述網站結構數據庫查找與所述當前網站匹配的第二目標爬蟲程序模板；

第二爬取模塊，用于基于所述第二目標爬蟲程序模板對所述當前網站進行爬取。

7.根據權利要求6所述的裝置，其特征在于，還包括：

提示模塊，用于若基于所述第二目標爬蟲程序模板對所述當前網站爬取異常時，提示對所述當前網站的爬蟲程序進行人工修訂；

獲取和更新模塊，用于獲取修訂結果，基于所述修訂結果對所述網站結構數據庫進行更新。

8.根據權利要求7所述的裝置，其特征在于，還包括：

檢測模塊，用于對所述當前網站進行Ping操作，檢測所述當前網站是否運行異常，和/或，對所述第二目標爬蟲程序的應用進行檢測。

9.根據權利要求6所述的裝置，其特征在于，還包括：

組合模塊，用于在所述網站結構數據庫中不存在所述第一目標爬蟲程序模板或所述第二目標爬蟲程序模板時，基于預設匹配規則，將所述網站結構數據庫中包括的各個爬蟲程序模板進行組合，得到各個待測試爬蟲程序模板；

選取模塊，用于基于所述各個待測試爬蟲程序模板對所述當前網站進行爬取，采用蟻群算法選取第三目標爬蟲程序模板；

第三爬取模塊，用于基于所述第三目標爬蟲程序模板對所述當前網站進行爬取。

10.根據權利要求9所述的裝置，其特征在于，還包括：

第二獲取模塊，用于獲取所述當前網站的當前網站結構；

存儲模塊，用于將所述第三目標爬蟲程序模板與所述當前網站結構的對應關系存儲至所述網站結構數據庫。