[發(fā)明專利]一種對(duì)監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)信息采集的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911115673.0
• 申請(qǐng)日: 2019-11-14
• 公開(kāi)（公告）號(hào): CN110851690A
• 公開(kāi)（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 楊杰;鄒琴;鐘生海;趙明輝;曹舒禹;蘇冬南;焦鵬;孫燕
• 申請(qǐng)（專利權(quán)）人: 北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所
• 主分類號(hào): G06F16/953
• 分類號(hào): G06F16/953
• 代理公司: 中國(guó)兵器工業(yè)集團(tuán)公司專利中心 11011
• 代理人: 王雪芬

1.一種對(duì)監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)信息采集的裝置，其特征在于，包括：

所述信息采集系統(tǒng)，與代理服務(wù)器進(jìn)行網(wǎng)絡(luò)連接，用于接收所述代理服務(wù)器傳輸過(guò)來(lái)的網(wǎng)絡(luò)信息；

所述代理服務(wù)器，與監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)連接，用于通過(guò)多個(gè)IP地址輪循對(duì)所述監(jiān)測(cè)網(wǎng)站進(jìn)行信息采集，將采集到的網(wǎng)絡(luò)信息傳輸給所述信息采集系統(tǒng)。

2.如權(quán)利要求1所述的裝置，其特征在于，所述代理服務(wù)器包括：

信息管理模塊，用于管理代理服務(wù)器的多個(gè)IP地址，根據(jù)代理服務(wù)器需要監(jiān)測(cè)的各個(gè)監(jiān)測(cè)網(wǎng)站的參數(shù)信息，將各個(gè)監(jiān)測(cè)網(wǎng)站劃分成不同的級(jí)別，針對(duì)每個(gè)級(jí)別的監(jiān)測(cè)網(wǎng)站分別設(shè)定相應(yīng)的網(wǎng)絡(luò)信息的采集時(shí)間間隔，將每個(gè)監(jiān)測(cè)網(wǎng)站的標(biāo)識(shí)、監(jiān)測(cè)網(wǎng)站所屬的級(jí)別與監(jiān)測(cè)網(wǎng)站對(duì)應(yīng)的采集時(shí)間間隔之間的對(duì)應(yīng)關(guān)系存儲(chǔ)在采集時(shí)間間隔表中；

信息采集系統(tǒng)網(wǎng)絡(luò)連接模塊，用于將所述代理服務(wù)器的每個(gè)IP地址和將信息采集系統(tǒng)的IP地址進(jìn)行網(wǎng)絡(luò)連接；

監(jiān)測(cè)網(wǎng)站網(wǎng)絡(luò)連接模塊，用于根據(jù)監(jiān)測(cè)網(wǎng)站對(duì)應(yīng)的采集時(shí)間間隔，將代理服務(wù)器的每個(gè)IP地址輪循與所述監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)連接。

3.如權(quán)利要求2所述的裝置，其特征在于，所述監(jiān)測(cè)網(wǎng)站網(wǎng)絡(luò)連接模塊具體用于當(dāng)所述代理服務(wù)器只對(duì)一個(gè)監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)信息采集時(shí)，根據(jù)該監(jiān)測(cè)網(wǎng)站的標(biāo)識(shí)查詢所述采集時(shí)間間隔表，獲取該監(jiān)測(cè)網(wǎng)站對(duì)應(yīng)的采集時(shí)間間隔；按照這個(gè)監(jiān)測(cè)網(wǎng)站對(duì)應(yīng)的采集時(shí)間間隔，將代理服務(wù)器的各個(gè)IP地址輪循和該監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)連接；或者，從空閑的代理服務(wù)器的多個(gè)IP地址中隨機(jī)選取一個(gè)IP地址和該監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)連接。

4.如權(quán)利要求3所述的裝置，其特征在于，所述監(jiān)測(cè)網(wǎng)站網(wǎng)絡(luò)連接模塊具體用于當(dāng)所述代理服務(wù)器對(duì)多個(gè)監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)信息采集，將一個(gè)代理服務(wù)器對(duì)應(yīng)的多個(gè)監(jiān)測(cè)網(wǎng)站配置為相同級(jí)別的監(jiān)測(cè)網(wǎng)站；根據(jù)所述代理服務(wù)器對(duì)應(yīng)的任意一個(gè)監(jiān)測(cè)網(wǎng)站的標(biāo)識(shí)查詢所述采集時(shí)間間隔表，獲取所述代理服務(wù)器對(duì)應(yīng)的各個(gè)監(jiān)測(cè)網(wǎng)站對(duì)應(yīng)的采集時(shí)間間隔，將所述代理服務(wù)器的每個(gè)IP地址按照所述采集時(shí)間間隔輪循和各個(gè)監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)連接，一個(gè)監(jiān)測(cè)網(wǎng)站在同一時(shí)間只和一個(gè)代理服務(wù)器的IP地址進(jìn)行網(wǎng)絡(luò)連接。

5.如權(quán)利要求4所述的裝置，其特征在于，所述代理服務(wù)器還包括：

網(wǎng)絡(luò)信息采集模塊，用于在代理服務(wù)器中設(shè)置多個(gè)網(wǎng)頁(yè)抓取工具，給每個(gè)網(wǎng)頁(yè)抓取工具分別配置一個(gè)代理服務(wù)器的IP地址，當(dāng)一個(gè)網(wǎng)頁(yè)抓取工具配置的IP地址連接了一個(gè)監(jiān)測(cè)網(wǎng)站后，該網(wǎng)頁(yè)抓取工具通過(guò)配置的IP地址對(duì)所述某個(gè)監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)信息采集；

網(wǎng)絡(luò)信息傳輸模塊，用于對(duì)所述網(wǎng)頁(yè)抓取工具采集的網(wǎng)絡(luò)信息進(jìn)行格式化處理，得到格式化網(wǎng)絡(luò)文件，對(duì)所述格式化網(wǎng)絡(luò)文件進(jìn)行加密處理，通過(guò)和所述信息采集系統(tǒng)的IP地址之間的網(wǎng)絡(luò)連接將加密處理后的格式化網(wǎng)絡(luò)文件傳輸給所述信息采集系統(tǒng)。

6.一種利用權(quán)利要求5所述的裝置對(duì)監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)信息采集的方法，其特征在于，包括如下步驟：

步驟S210、將信息采集系統(tǒng)和代理服務(wù)器進(jìn)行網(wǎng)絡(luò)連接，將代理服務(wù)器的每個(gè)IP地址輪循與監(jiān)測(cè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)連接；

步驟S220、代理服務(wù)器通過(guò)多個(gè)IP地址輪循對(duì)所述監(jiān)測(cè)網(wǎng)站進(jìn)行信息采集；

步驟S230、代理服務(wù)器將采集到的網(wǎng)絡(luò)信息傳輸給所述信息采集系統(tǒng)。

網(wǎng)絡(luò)信息傳輸模塊對(duì)網(wǎng)頁(yè)抓取工具采集的網(wǎng)絡(luò)信息進(jìn)行格式化處理，得到格式化網(wǎng)絡(luò)文件，對(duì)所述格式化網(wǎng)絡(luò)文件進(jìn)行加密處理，代理服務(wù)器通過(guò)和所述信息采集系統(tǒng)的IP地址之間的網(wǎng)絡(luò)連接，將加密處理后的格式化網(wǎng)絡(luò)文件傳輸給所述信息采集系統(tǒng)。