[發明專利]一種動態采集互聯網數據的方法

在審

• 申請號: 202011244705.X
• 申請日: 2020-11-10
• 公開（公告）號: CN112269910A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 邢榮;徐宏偉;宋設
• 申請（專利權）人: 浪潮卓數大數據產業發展有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9538;G06F9/48
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫晶偉

本發明公開一種動態采集互聯網數據的方法,涉及大數據應用與分析領域；獲取目標網站公示模塊顯示的全部信息范圍內首頁首條數據與末頁末條數據的發布時間差，作為信息所屬時間跨度，依據時間跨度設定網絡爬蟲的定時啟動時間，定期自動獲取目標網站上公示模塊的信息，并持續積累至信息數據集合；本發明解決了互聯網數據采集過程中，由于數據源網站對外公示信息有限，導致無法獲取足量的數據樣本，難以滿足大數據技術應用的數據需求的問題。

技術領域

本發明公開一種方法,涉及大數據應用與分析領域，具體地說是一種動態采集互聯網數據的方法。

背景技術

大量數據通過互聯網采集來獲取。然而受到數據存儲的成本、信息安全、數據傳輸調用的速度、web系統的運行壓力等多種因素的影響，各個機構的網站上對外公布的信息大都是有其上限的。即信息一般只在網上發布一段時間，而不是整個信息倉庫，如各省市各單位發布的行政許可信息、行政處罰信息、招中標信息、失信被執行人信息、新注冊及注銷吊銷企業信息等等。

由于各機構網站上所示數據有限，現有的數據采集技術不能一次性獲取足夠的信息數據，但大數據技術所需的數據容量必須大量、多樣。因此現有的數據采集方法愈發難以適用于大數據應用中數據的采集需求。

發明內容

本發明針對現有技術的問題，提供一種動態采集互聯網數據的方法，對目標網站上有時限的公開信息進行抓取，實現了動態獲取所需數據，且經過持續多次運行后不斷積累數據總量，形成大數據集合。進而為后續的數據處理、數據分析、建模仿真等大數據技術的應用提供了數據基礎，大幅提高了互聯網數據的利用效率。

本發明提出的具體方案是：

一種動態采集互聯網數據的方法，獲取目標網站公示模塊顯示的全部信息范圍內首頁首條數據與末頁末條數據的發布時間差，作為信息所屬時間跨度，

依據時間跨度設定網絡爬蟲的定時啟動時間，定期自動獲取目標網站上公示模塊的信息，并持續積累至信息數據集合。

優選地，所述的一種動態采集互聯網數據的方法中通過瀏覽器對目標網站的公示模塊發送訪問請求，查看公示模塊顯示的全部信息范圍內首頁首條數據與末頁末條數據的發布時間差。

優選地，所述的一種動態采集互聯網數據的方法中通過網絡爬蟲從全部信息范圍內首頁首條數據遍歷至末頁末條數據，進行信息抓取。

優選地，所述的一種動態采集互聯網數據的方法中網絡爬蟲的定時啟動間隔時長小于信息所屬時間跨度。

優選地，所述的一種動態采集互聯網數據的方法中每次定時啟動獲取的信息數據與上一次啟動獲取的信息數據進行比對，排除重復數據，再進行保存入數據庫。

一種動態采集互聯網數據的系統，包括時間跨度模塊、啟動模塊、獲取模塊及存儲模塊，

時間跨度模塊獲取目標網站公示模塊顯示的全部信息范圍內首頁首條數據與末頁末條數據的發布時間差，作為信息所屬時間跨度，

啟動模塊依據時間跨度設定網絡爬蟲的定時啟動時間，獲取模塊依據定時啟動時間定期自動獲取目標網站上公示模塊的信息，并持續積累至存儲模塊的信息數據集合中。

優選地，所述的一種動態采集互聯網數據的系統中時間跨度模塊通過瀏覽器對目標網站的公示模塊發送訪問請求，查看公示模塊顯示的全部信息范圍內首頁首條數據與末頁末條數據的發布時間差。

優選地，所述的一種動態采集互聯網數據的系統中獲取模塊通過網絡爬蟲從全部信息范圍內首頁首條數據遍歷至末頁末條數據，進行信息抓取。

優選地，所述的一種動態采集互聯網數據的系統中啟動模塊設定網絡爬蟲的定時啟動間隔時長小于信息所屬時間跨度。

優選地，所述的一種動態采集互聯網數據的系統中