[發明專利]網頁數據爬取方法、裝置及本地服務器

在審

• 申請號: 202111336685.3
• 申請日: 2021-11-12
• 公開（公告）號: CN113918792A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 王梓琳;張弓;鄭睿博;駱庚;任穎;何高波;陳子申
• 申請（專利權）人: 中煤(西安)地下空間科技發展有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/953;G06F16/957
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 王思楠

本申請的實施例提供了一種網頁數據爬取方法、裝置及本地服務器，涉及數據爬取技術領域。本申請首先獲取爬取配置信息，所述爬取配置信息包括下述至少一項：爬取周期、目標數據信息以及目標網頁信息；所述目標數據信息包括：目標關鍵詞；所述目標網頁信息包括下述至少一項：目標網頁的地址、目標網頁的列表頁地址以及目標網頁詳情頁地址；根據所述爬取配置信息，爬取目標數據；將所述目標數據按照預設規則進行存儲。本申請能夠對于不同的網頁制定不同的爬取規則，實現快速、有選擇地爬取網頁的目標數據。

技術領域

本申請涉及數據爬取技術領域，具體而言，涉及一種網頁數據爬取方法、裝置及本地服務器。

背景技術

隨著大規模地下建設工程，如地鐵、地下管廊等建筑項目逐年增加，地下空間安全事故也是頻繁發生，造成了大量的人員和財物損失。隨著網絡的發展，互聯網成為了大量信息的載體，其中也包含上述地下空間安全事故信息，將這些信息提取并分析，一定程度上可以起到借鑒和警示作用，避免類似事故的發生。

為了在互聯網上提取地下空間安全事故信息，需要使用網頁爬取技術，即本地服務器利用軟件程序，從某個網頁的首頁開始，依次讀取并回傳網頁的內容。

但是，目前的網頁爬取技術，會將整個網站的所有網頁中的所有內容都依次抓取，不僅消耗時間和網絡帶寬成本，獲得的數據也混亂、龐雜。不僅如此，由于網絡結構不同，現有技術只能對固定網頁進行爬取，效率低下。

發明內容

本申請的目的包括，例如，提供了一種網頁數據爬取方法、裝置及本地服務器，其能夠對于不同的網頁制定不同的爬取規則，實現快速、有選擇地爬取網頁的目標數據。

為實現上述目的，本申請實施例采用的技術方案如下：

第一方面，本申請實施例提供了一種網頁數據爬取方法，包括：

獲取爬取配置信息，所述爬取配置信息包括下述至少一項：爬取周期、目標數據信息以及目標網頁信息；所述目標數據信息包括：目標關鍵詞；所述目標網頁信息包括下述至少一項：目標網頁的地址、目標網頁的列表頁地址以及目標網頁詳情頁地址；

根據所述爬取配置信息，爬取目標數據；

將所述目標數據按照預設規則進行存儲。

在一種可選的實施方式中，所述根據所述爬取配置信息，爬取目標數據，包括：

采用預設過濾算法以及已存儲數據，對所述爬取配置信息進行過濾，獲取過濾后的爬取配置信息；

采用所述過濾后的爬取配置信息，爬取目標數據。

在一種可選的實施方式中，若所述爬取配置信息包括：目標網頁信息，所述采用預設過濾算法以及已存儲數據，對所述爬取配置信息進行過濾，獲取過濾后的爬取配置信息，包括：

將所述目標網頁信息通過所述預設過濾算法過濾重復的網頁信息，得到過濾后的爬取配置信息；

所述采用所述過濾后的爬取配置信息，爬取目標數據，包括：

根據所述過濾后的爬取配置信息中的目標網頁信息，訪問所述目標網頁的地址對應的目標網頁；

根據所述過濾后的爬取配置信息中的目標關鍵詞、目標網頁的列表頁地址以及目標網頁詳情頁地址，在所述目標網頁中爬取所述目標數據。

在一種可選的實施方式中，所述將所述目標數據按照預設規則進行存儲，包括：

將所述目標數據進行解析，得到網頁解析內容，所述網頁解析內容包括：所述目標數據中包含的對應各字段名的字段內容；

根據預設模型以及所述字段名，將所述字段內容映射至已存數據中所匹配字段名的對應位置。