[實(shí)用新型]中小微企業(yè)網(wǎng)絡(luò)信息采集分析系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201720595001.4
• 申請(qǐng)日: 2017-05-26
• 公開（公告）號(hào): CN206728038U
• 公開（公告）日: 2017-12-08
• 發(fā)明（設(shè)計(jì)）人: 魏墨濟(jì);劉向陽;李晨;朱世偉;李憲毅;楊愛芹;于俊鳳;董婷;李思思;徐蓓蓓;劉翠琴;張銘君;王愛萍;王彥
• 申請(qǐng)（專利權(quán)）人: 山東省科學(xué)院情報(bào)研究所
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L12/26
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種中小微企業(yè)網(wǎng)絡(luò)信息采集分析系統(tǒng)，包括網(wǎng)絡(luò)信息采集子系統(tǒng)、網(wǎng)絡(luò)信息分析子系統(tǒng)以及最終用戶，網(wǎng)絡(luò)信息采集子系統(tǒng)、網(wǎng)絡(luò)信息分析子系統(tǒng)以及最終用戶均部署于同一局域網(wǎng)內(nèi)，并通過路由器接入運(yùn)營商的方式訪問Internet；其特征在于：還包括由多個(gè)VPN代理服務(wù)器構(gòu)成的代理服務(wù)器集群，所述網(wǎng)絡(luò)信息采集子系統(tǒng)由爬取設(shè)置客戶端、爬取主控節(jié)點(diǎn)、多個(gè)爬取節(jié)點(diǎn)以及數(shù)據(jù)接收、匯總服務(wù)器組成，爬取設(shè)置客戶端用于配置數(shù)據(jù)源、關(guān)鍵詞和爬取策略，爬取主控節(jié)點(diǎn)根據(jù)爬取設(shè)置客戶端的配置為各個(gè)爬取節(jié)點(diǎn)分配任務(wù)，爬取節(jié)點(diǎn)根據(jù)爬取主控節(jié)點(diǎn)分配的任務(wù)選擇一個(gè)VPN連接連入遠(yuǎn)程VPN代理服務(wù)器，使用VPN代理服務(wù)器訪問Internet中的目標(biāo)數(shù)據(jù)源；數(shù)據(jù)接收、匯總服務(wù)器用于接收和存儲(chǔ)爬取節(jié)點(diǎn)采集的網(wǎng)絡(luò)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的中小微企業(yè)網(wǎng)絡(luò)信息采集分析系統(tǒng)，其特征在于：所述網(wǎng)絡(luò)信息分析子系統(tǒng)由Hadoop集群和應(yīng)用服務(wù)器組成，Hadoop集群由一臺(tái)主節(jié)點(diǎn)NameNode和多臺(tái)從節(jié)點(diǎn)DataNode組成，Hadoop集群用于接收和存儲(chǔ)數(shù)據(jù)接收、匯總服務(wù)器發(fā)送的網(wǎng)絡(luò)數(shù)據(jù)；應(yīng)用服務(wù)器用于接收用戶的請(qǐng)求并將處理結(jié)果反饋給用戶。

3.根據(jù)權(quán)利要求2所述的中小微企業(yè)網(wǎng)絡(luò)信息采集分析系統(tǒng)，其特征在于：所述用戶通過應(yīng)用服務(wù)器提交請(qǐng)求并獲取所需信息；用戶與應(yīng)用服務(wù)器間可通過B/S形式或C/S形式交互信息。

4.根據(jù)權(quán)利要求2所述的中小微企業(yè)網(wǎng)絡(luò)信息采集分析系統(tǒng)，其特征在于：所述網(wǎng)絡(luò)信息采集子系統(tǒng)和網(wǎng)絡(luò)信息分析子系統(tǒng)的各設(shè)備均為邏輯劃分，并非每個(gè)設(shè)備均需一個(gè)物理設(shè)備與其對(duì)應(yīng)；爬取主控節(jié)點(diǎn)的功能可由某一個(gè)爬取節(jié)點(diǎn)承擔(dān)；數(shù)據(jù)接收、匯總服務(wù)器既可并入Hadoop集群，由其中的某臺(tái)服務(wù)器承擔(dān)其功能，也可由爬取主控節(jié)點(diǎn)承擔(dān)其功能；應(yīng)用服務(wù)器可并入Hadoop集群，由其中的某臺(tái)服務(wù)器承擔(dān)其功能。