[發明專利]網頁數據爬取方法、裝置及本地服務器

在審

• 申請號: 202111336685.3
• 申請日: 2021-11-12
• 公開（公告）號: CN113918792A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 王梓琳;張弓;鄭睿博;駱庚;任穎;何高波;陳子申
• 申請（專利權）人: 中煤(西安)地下空間科技發展有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/953;G06F16/957
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 王思楠

1.一種網頁數據爬取方法，其特征在于，所述方法包括：

獲取爬取配置信息，所述爬取配置信息包括下述至少一項：爬取周期、目標數據信息以及目標網頁信息；所述目標數據信息包括：目標關鍵詞；所述目標網頁信息包括下述至少一項：目標網頁的地址、目標網頁的列表頁地址以及目標網頁詳情頁地址；

根據所述爬取配置信息，爬取目標數據；

將所述目標數據按照預設規則進行存儲。

2.根據權利要求1所述的網頁數據爬取方法，其特征在于，所述根據所述爬取配置信息，爬取目標數據，包括：

采用預設過濾算法以及已存儲數據，對所述爬取配置信息進行過濾，獲取過濾后的爬取配置信息；

采用所述過濾后的爬取配置信息，爬取目標數據。

3.根據權利要求2所述的網頁數據爬取方法，其特征在于，若所述爬取配置信息包括：目標網頁信息，所述采用預設過濾算法以及已存儲數據，對所述爬取配置信息進行過濾，獲取過濾后的爬取配置信息，包括：

將所述目標網頁信息通過所述預設過濾算法過濾重復的網頁信息，得到過濾后的爬取配置信息；

所述采用所述過濾后的爬取配置信息，爬取目標數據，包括：

根據所述過濾后的爬取配置信息中的目標網頁信息，訪問所述目標網頁的地址對應的目標網頁；

根據所述過濾后的爬取配置信息中的目標關鍵詞、目標網頁的列表頁地址以及目標網頁詳情頁地址，在所述目標網頁中爬取所述目標數據。

4.根據權利要求1所述的網頁數據爬取方法，其特征在于，所述將所述目標數據按照預設規則進行存儲，包括：

將所述目標數據進行解析，得到網頁解析內容，所述網頁解析內容包括：所述目標數據中包含的對應各字段名的字段內容；

根據預設模型以及所述字段名，將所述字段內容映射至已存數據中所匹配字段名的對應位置。

5.根據權利要求4所述的網頁數據爬取方法，其特征在于，所述根據預設模型以及所述字段名，將所述字段內容映射至已存數據中所匹配字段名的對應位置，包括：

將所述網頁解析內容中的字段內容與所述已存數據中的字段內容進行哈希值比較，若重復，則刪除重復的網頁解析內容，獲取待存儲的網頁解析內容；

根據預設模型以及所述字段名，將所述待存儲的網頁解析內容的所述字段內容映射至已存數據中所匹配字段名的對應位置。

6.根據權利要求1所述的網頁數據爬取方法，其特征在于，所述將所述目標數據按照預設規則進行存儲之后，包括：

根據業務需求，在存儲的目標數據中進行查詢，得到所述業務需求對應的業務所需數據。

7.根據權利要求1所述的網頁數據爬取方法，其特征在于，所述方法還包括：

若所述爬取配置信息中對應的信息均被訪問，則停止爬取目標數據。

8.一種網頁數據爬取裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取爬取配置信息，所述爬取配置信息包括下述至少一項：爬取周期、目標數據信息以及目標網頁信息；

所述目標數據信息包括：目標關鍵詞；

所述目標網頁信息包括下述至少一項：目標網頁的地址、目標網頁的列表頁地址以及目標網頁詳情頁地址；

爬取模塊，用于根據所述爬取配置信息，爬取目標數據；

存儲模塊，用于將所述目標數據按照預設規則進行存儲。

9.一種本地服務器，其特征在于，包括：處理器、存儲介質和總線，所述存儲介質存儲有所述處理器可執行的機器可讀指令，當所述本地服務器運行時，所述處理器與所述存儲介質之間通過總線通信，所述處理器執行所述機器可讀指令，以執行如權利要求1-7任一所述網頁數據爬取方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器運行時執行如權利要求1-7任一所述網頁數據爬取方法的步驟。