[發明專利]一種基于自學習的數據爬取方法及裝置

在審

• 申請號: 202011155504.2
• 申請日: 2020-10-26
• 公開（公告）號: CN112231536A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 楊一未;郝永樂;吳薇;張丹
• 申請（專利權）人: 中國信息安全測評中心
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 尹秀

本發明公開了一種基于自學習的數據爬取方法及裝置，預先構建包括網站結構和爬蟲程序模板對應關系的網站結構數據庫，對應關系至少為一個，該方法包括：在對當前網站的爬取時，獲取當前網站的網站結構；遍歷網站結構數據庫，查找與網站結構匹配的第一目標爬蟲程序模板；基于第一目標爬蟲程序模板對當前網站進行爬??；在網站結構改變導致爬取異常時，繼續匹配網站結構數據庫查找與當前網站匹配的第二目標爬蟲程序模板；基于第二目標爬蟲程序模板對當前網站進行爬取。上述方法，預先建立網站結構數據庫，當網站結構改變時依舊可以依據網站結構數據庫中的對應關系，查找到對應的爬蟲程序模板，不需要重新開發程序，不會導致爬取數據中斷。

技術領域

本發明涉及互聯網技術領域，尤其涉及一種基于自學習的數據爬取方法及裝置。

背景技術

在基于網絡爬蟲爬取網站中的數據時，現有技術中會依據網站的網站結構編寫對應的爬蟲程序，基于該爬蟲程序爬取網站中的對應數據。

但是，網站結構不是固定不變的，可能會不定期的進行調整，一旦網站結構調整，之前的爬蟲程序就無法爬取調整后網站中的相關數據，造成數據爬取失敗，只能重新開發爬蟲程序，造成數據爬取工作的中斷。

發明內容

有鑒于此，本發明提供了一種基于自學習的數據爬取方法及裝置，用以解決現有網站結構不是固定不變的，可能會不定期的進行調整，一旦網站結構調整，之前的爬蟲程序就無法爬取調整后網站中的相關數據，造成數據爬取失敗，只能重新開發爬蟲程序，造成數據爬取工作的中斷的問題。具體方案如下：

一種基于自學習的數據爬取方法，預先構建包括網站結構和爬蟲程序模板對應關系的網站結構數據庫，所述對應關系至少為一個，所述方法包括：

在接收到對當前網站的爬取請求時，獲取所述當前網站的網站結構；

遍歷所述網站結構數據庫，基于所述對應關系查找與所述網站結構匹配的第一目標爬蟲程序模板；

基于所述第一目標爬蟲程序模板對所述當前網站進行爬?。?/p>

在所述網站結構改變導致所述當前網站爬取異常時，繼續匹配所述網站結構數據庫查找與所述當前網站匹配的第二目標爬蟲程序模板；

基于所述第二目標爬蟲程序模板對所述當前網站進行爬取。

上述的方法，可選的，還包括：

若基于所述第二目標爬蟲程序模板對所述當前網站爬取異常時，提示對所述當前網站的爬蟲程序進行人工修訂；

獲取修訂結果，基于所述修訂結果對所述網站結構數據庫進行更新。

上述的方法，可選的，還包括：

對所述當前網站進行Ping操作，檢測所述當前網站是否運行異常，和/或，對所述第二目標爬蟲程序的應用進行檢測。

上述的方法，可選的，還包括：

在所述網站結構數據庫中不存在所述第一目標爬蟲程序模板或所述第二目標爬蟲程序模板時，基于預設匹配規則，將所述網站結構數據庫中包括的各個爬蟲程序模板進行組合，得到各個待測試爬蟲程序模板；

基于所述各個待測試爬蟲程序模板對所述當前網站進行爬取，采用蟻群算法選取第三目標爬蟲程序模板；

基于所述第三目標爬蟲程序模板對所述當前網站進行爬取。

上述的方法，可選的，還包括：

獲取所述當前網站的當前網站結構；

將所述第三目標爬蟲程序模板與所述當前網站結構的對應關系存儲至所述網站結構數據庫。