[發(fā)明專利]一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的方法

在審

• 申請?zhí)枺?/td>: 202011244705.X
• 申請日: 2020-11-10
• 公開（公告）號: CN112269910A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計）人: 邢榮;徐宏偉;宋設(shè)
• 申請（專利權(quán)）人: 浪潮卓數(shù)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9538;G06F9/48
• 代理公司: 濟南信達專利事務(wù)所有限公司 37100
• 代理人: 孫晶偉

1.一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的方法，其特征是獲取目標(biāo)網(wǎng)站公示模塊顯示的全部信息范圍內(nèi)首頁首條數(shù)據(jù)與末頁末條數(shù)據(jù)的發(fā)布時間差，作為信息所屬時間跨度，

依據(jù)時間跨度設(shè)定網(wǎng)絡(luò)爬蟲的定時啟動時間，定期自動獲取目標(biāo)網(wǎng)站上公示模塊的信息，并持續(xù)積累至信息數(shù)據(jù)集合。

2.根據(jù)權(quán)利要求1所述的一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的方法，其特征是通過瀏覽器對目標(biāo)網(wǎng)站的公示模塊發(fā)送訪問請求，查看公示模塊顯示的全部信息范圍內(nèi)首頁首條數(shù)據(jù)與末頁末條數(shù)據(jù)的發(fā)布時間差。

3.根據(jù)權(quán)利要求1或2所述的一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的方法，其特征是通過網(wǎng)絡(luò)爬蟲從全部信息范圍內(nèi)首頁首條數(shù)據(jù)遍歷至末頁末條數(shù)據(jù)，進行信息抓取。

4.根據(jù)權(quán)利要求3所述的一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的方法，其特征是網(wǎng)絡(luò)爬蟲的定時啟動間隔時長小于信息所屬時間跨度。

5.根據(jù)權(quán)利要求4所述的一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的方法，其特征是每次定時啟動獲取的信息數(shù)據(jù)與上一次啟動獲取的信息數(shù)據(jù)進行比對，排除重復(fù)數(shù)據(jù)，再進行保存入數(shù)據(jù)庫。

6.一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的系統(tǒng)，其特征是包括時間跨度模塊、啟動模塊、獲取模塊及存儲模塊，

時間跨度模塊獲取目標(biāo)網(wǎng)站公示模塊顯示的全部信息范圍內(nèi)首頁首條數(shù)據(jù)與末頁末條數(shù)據(jù)的發(fā)布時間差，作為信息所屬時間跨度，

啟動模塊依據(jù)時間跨度設(shè)定網(wǎng)絡(luò)爬蟲的定時啟動時間，獲取模塊依據(jù)定時啟動時間定期自動獲取目標(biāo)網(wǎng)站上公示模塊的信息，并持續(xù)積累至存儲模塊的信息數(shù)據(jù)集合中。

7.根據(jù)權(quán)利要求6所述的一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的系統(tǒng)，其特征是時間跨度模塊通過瀏覽器對目標(biāo)網(wǎng)站的公示模塊發(fā)送訪問請求，查看公示模塊顯示的全部信息范圍內(nèi)首頁首條數(shù)據(jù)與末頁末條數(shù)據(jù)的發(fā)布時間差。

8.根據(jù)權(quán)利要求6或7所述的一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的系統(tǒng)，其特征是獲取模塊通過網(wǎng)絡(luò)爬蟲從全部信息范圍內(nèi)首頁首條數(shù)據(jù)遍歷至末頁末條數(shù)據(jù)，進行信息抓取。

9.根據(jù)權(quán)利要求8所述的一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的系統(tǒng)，其特征是啟動模塊設(shè)定網(wǎng)絡(luò)爬蟲的定時啟動間隔時長小于信息所屬時間跨度。

10.根據(jù)權(quán)利要求9所述的一種動態(tài)采集互聯(lián)網(wǎng)數(shù)據(jù)的系統(tǒng)，其特征是還包括比對模塊，比對模塊將每次定時啟動獲取的信息數(shù)據(jù)與上一次啟動獲取的信息數(shù)據(jù)進行比對，排除重復(fù)數(shù)據(jù)，存儲模塊再進行保存入數(shù)據(jù)庫。