[發明專利]一種WEB數據采集方法及系統

在審

• 申請號: 201810765848.1
• 申請日: 2018-07-12
• 公開（公告）號: CN108875397A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 王紅林
• 申請（專利權）人: 江蘇慧學堂系統工程有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/56;G06F21/57;G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種WEB數據采集系統，采集系統包括數據采集裝置(1)、數據傳輸模塊(2)和數據接收裝置(3)，其特征在于：所述數據采集裝置(1)通過數據傳輸模塊(2)連接數據接收裝置(3)，所述數據采集裝置(1)內設有處理單元(4)、數據采集器(5)、數據加密單元(6)、數據病毒檢測單元(7)和數據存儲單元(8)，所述數據采集器(5)輸入端連接數據采集節點(9)，輸出端連接數據加密單元(6)，所述數據加密單元(6)、數據病毒檢測單元(7)和數據存儲單元(8)均連接處理單元(4)，所述數據接收裝置(3)內設有第一數據處理單元(10)、第二數據處理單元(11)和存儲單元(12)。

2.根據權利要求1所述的一種WEB數據采集系統，其特征在于：所述第一數據處理單元(10)接收數據并進行分幀處理，將處理得到的數據存儲到存儲單元(12)并發出第一控制信號；所述第二數據處理單元(11)與所述第一數據處理單元(10)連接，用于根據第一控制信號從存儲單元讀取相應數據；所述存儲單元包括狀態寄存器，所述第一數據處理單元檢測所述狀態寄存器中是否存在未被讀取的數據幀，根據檢測結果產生表征狀態寄存器數據位是否有效的第一狀態數據。

3.實現權利要求1所述的一種WEB數據采集系統的采集方法，其特征在于：其采集方法包括以下步驟：

A、數據采集器采集數據采集節點上的WEB數據，采集的WEB數據通過數據加密單元進行加密后傳輸至處理單元；

B、處理單元向數據病毒檢測單元發送病毒檢測指令，對WEB數據進行病毒檢測，若檢測不到病毒，則傳輸至數據存儲單元進行存儲；

C、之后WEB數據通過數據傳輸模塊傳輸至數據接收裝置，數據接收裝置對接收的WEB數據進行讀取。

4.根據權利要求1所述的一種WEB數據采集系統的采集方法，其特征在于:所述步驟B中數據病毒檢測方法如下：

A、獲取采集到的WEB數據中的外部鏈接，外部鏈接指向數據的供應商所提供資源以外的資源；

B、對外部鏈接進行格式化，得到預設格式的瀏覽記錄，所述預設格式的瀏覽記錄包括用戶標識、數據的域名和外部鏈接；

C、如果外部鏈接既不存在于白數據表又不存在于黑數據表中，則將瀏覽記錄保存到灰數據表中，白數據表用于記錄安全外部鏈接，黑數據表用戶記錄病毒外部鏈接；

D、在預設時長之后，根據灰數據表中每個外部鏈接對應的用戶標識數量和數據的域名數量，確定每個外部鏈接的安全類型。