[發(fā)明專利]一種WEB數(shù)據(jù)采集方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810765848.1
• 申請日: 2018-07-12
• 公開（公告）號: CN108875397A
• 公開（公告）日: 2018-11-23
• 發(fā)明（設(shè)計）人: 王紅林
• 申請（專利權(quán)）人: 江蘇慧學(xué)堂系統(tǒng)工程有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/56;G06F21/57;G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種WEB數(shù)據(jù)采集方法及系統(tǒng)，采集系統(tǒng)包括數(shù)據(jù)采集裝置、數(shù)據(jù)傳輸模塊和數(shù)據(jù)接收裝置，所述數(shù)據(jù)采集裝置通過數(shù)據(jù)傳輸模塊連接數(shù)據(jù)接收裝置，所述數(shù)據(jù)采集裝置內(nèi)設(shè)有處理單元、數(shù)據(jù)采集器、數(shù)據(jù)加密單元、數(shù)據(jù)病毒檢測單元和數(shù)據(jù)存儲單元，所述數(shù)據(jù)接收裝置內(nèi)設(shè)有第一數(shù)據(jù)處理單元、第二數(shù)據(jù)處理單元和存儲單元，本發(fā)明結(jié)構(gòu)原理簡單，能夠準(zhǔn)確高效地進(jìn)行WEB數(shù)據(jù)采集，而且安全性高。

技術(shù)領(lǐng)域

本發(fā)明涉及WEB數(shù)據(jù)采集技術(shù)領(lǐng)域，具體為一種WEB數(shù)據(jù)采集方法及系統(tǒng)。

背景技術(shù)

Web是伴隨著Internet技術(shù)而產(chǎn)生的。在計算機(jī)網(wǎng)絡(luò)中，對于提供Web服務(wù)的計算機(jī)稱為Web服務(wù)器。Web采用瀏覽器/服務(wù)器的工作方式。每個Web服務(wù)器上都放置著大量的Web信息。Web信息的基本單位是Web頁(網(wǎng)頁)，多個網(wǎng)頁組成了一個Web節(jié)點。每個Web節(jié)點的起始頁稱為“主頁”，且擁有一個URL地址(統(tǒng)一資源定位地址)。Web節(jié)點之間及網(wǎng)頁之間都是以超文本結(jié)構(gòu)(非線性的網(wǎng)狀結(jié)構(gòu))來進(jìn)行組織的。

目前，互聯(lián)網(wǎng)技術(shù)飛速發(fā)展，信息呈現(xiàn)出爆炸性的增長，web數(shù)據(jù)分析具有了非常重大的意義。通過對網(wǎng)頁中大量的非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行分析，可以得到有價值的報表等，提供給網(wǎng)站運營人員和管理人員，供他們做決策和運營。其中，Web數(shù)據(jù)例如包括：PV(pageview，頁面瀏覽量)日志，點擊(或者稱事件)日志，效果日志(包括登錄，訂單等)等數(shù)據(jù)。

目前的WEB數(shù)據(jù)采集方法采集效率低，而且安全性能差。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種WEB數(shù)據(jù)采集方法及系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種WEB數(shù)據(jù)采集系統(tǒng)，采集系統(tǒng)包括數(shù)據(jù)采集裝置、數(shù)據(jù)傳輸模塊和數(shù)據(jù)接收裝置，所述數(shù)據(jù)采集裝置通過數(shù)據(jù)傳輸模塊連接數(shù)據(jù)接收裝置，所述數(shù)據(jù)采集裝置內(nèi)設(shè)有處理單元、數(shù)據(jù)采集器、數(shù)據(jù)加密單元、數(shù)據(jù)病毒檢測單元和數(shù)據(jù)存儲單元，所述數(shù)據(jù)采集器輸入端連接數(shù)據(jù)采集節(jié)點，輸出端連接數(shù)據(jù)加密單元，所述數(shù)據(jù)加密單元、數(shù)據(jù)病毒檢測單元和數(shù)據(jù)存儲單元均連接處理單元，所述數(shù)據(jù)接收裝置內(nèi)設(shè)有第一數(shù)據(jù)處理單元、第二數(shù)據(jù)處理單元和存儲單元。

優(yōu)選的，所述第一數(shù)據(jù)處理單元接收數(shù)據(jù)并進(jìn)行分幀處理，將處理得到的數(shù)據(jù)存儲到存儲單元并發(fā)出第一控制信號；所述第二數(shù)據(jù)處理單元與所述第一數(shù)據(jù)處理單元連接，用于根據(jù)第一控制信號從存儲單元讀取相應(yīng)數(shù)據(jù)；所述存儲單元包括狀態(tài)寄存器，所述第一數(shù)據(jù)處理單元檢測所述狀態(tài)寄存器中是否存在未被讀取的數(shù)據(jù)幀，根據(jù)檢測結(jié)果產(chǎn)生表征狀態(tài)寄存器數(shù)據(jù)位是否有效的第一狀態(tài)數(shù)據(jù)。

優(yōu)選的，其采集方法包括以下步驟：

A、數(shù)據(jù)采集器采集數(shù)據(jù)采集節(jié)點上的WEB數(shù)據(jù)，采集的WEB數(shù)據(jù)通過數(shù)據(jù)加密單元進(jìn)行加密后傳輸至處理單元；

B、處理單元向數(shù)據(jù)病毒檢測單元發(fā)送病毒檢測指令，對WEB數(shù)據(jù)進(jìn)行病毒檢測，若檢測不到病毒，則傳輸至數(shù)據(jù)存儲單元進(jìn)行存儲；

C、之后WEB數(shù)據(jù)通過數(shù)據(jù)傳輸模塊傳輸至數(shù)據(jù)接收裝置，數(shù)據(jù)接收裝置對接收的WEB數(shù)據(jù)進(jìn)行讀取。

優(yōu)選的，所述步驟B中數(shù)據(jù)病毒檢測方法如下：

A、獲取采集到的WEB數(shù)據(jù)中的外部鏈接，外部鏈接指向數(shù)據(jù)的供應(yīng)商所提供資源以外的資源；

B、對外部鏈接進(jìn)行格式化，得到預(yù)設(shè)格式的瀏覽記錄，所述預(yù)設(shè)格式的瀏覽記錄包括用戶標(biāo)識、數(shù)據(jù)的域名和外部鏈接；

C、如果外部鏈接既不存在于白數(shù)據(jù)表又不存在于黑數(shù)據(jù)表中，則將瀏覽記錄保存到灰數(shù)據(jù)表中，白數(shù)據(jù)表用于記錄安全外部鏈接，黑數(shù)據(jù)表用戶記錄病毒外部鏈接；

D、在預(yù)設(shè)時長之后，根據(jù)灰數(shù)據(jù)表中每個外部鏈接對應(yīng)的用戶標(biāo)識數(shù)量和數(shù)據(jù)的域名數(shù)量，確定每個外部鏈接的安全類型。