[發(fā)明專利]利用大數(shù)據(jù)進行數(shù)據(jù)收集的防丟失系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810319296.1
• 申請日: 2018-04-11
• 公開（公告）號: CN110363019A
• 公開（公告）日: 2019-10-22
• 發(fā)明（設(shè)計）人: 徐偉
• 申請（專利權(quán)）人: 徐偉
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F11/14
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了利用大數(shù)據(jù)進行數(shù)據(jù)收集的防丟失系統(tǒng)，包括數(shù)據(jù)采集模塊、信息過濾模塊、數(shù)據(jù)存儲模塊、日志備份模塊、安全監(jiān)控模塊和數(shù)據(jù)溢出警示模塊，所述數(shù)據(jù)采集模塊在網(wǎng)絡(luò)上進行目標數(shù)據(jù)的采集，并將采集數(shù)據(jù)發(fā)送至信息過濾模塊，所述信息過濾模塊將數(shù)據(jù)采集模塊的數(shù)據(jù)進行整理并分類，將分類后的數(shù)據(jù)發(fā)送至安全監(jiān)控模塊和數(shù)據(jù)存儲模塊，所述數(shù)據(jù)存儲模塊將數(shù)據(jù)資料進行存儲保存，所述日志備份模塊在數(shù)據(jù)存儲模塊接入資料時，從數(shù)據(jù)存儲模塊內(nèi)調(diào)取接入數(shù)據(jù)來源信息，并將其來源信息進行備份存儲，所述安全監(jiān)控模塊對數(shù)據(jù)采集模塊采集的數(shù)據(jù)進行監(jiān)控，將異常的采集數(shù)據(jù)進行隔離。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)防丟失系統(tǒng)，具體涉及利用大數(shù)據(jù)進行數(shù)據(jù)收集的防丟失系統(tǒng)。

背景技術(shù)

隨著大數(shù)據(jù)時代的來臨，用戶群體的迅速擴張，用戶對數(shù)據(jù)的穩(wěn)定性、可靠性和安全性的要求越來越高。數(shù)據(jù)采集處理和存儲服務(wù)是配電自動化系統(tǒng)的基本功能，也是實現(xiàn)饋線故障自動處理、實時拓撲分析和電網(wǎng)動態(tài)著色等高級應(yīng)用的基礎(chǔ)。而在大容量情況下進行壓力測試，即短時間內(nèi)模擬大量遙信和遙測變化，就有可能導(dǎo)致配電自動化系統(tǒng)丟失實時數(shù)據(jù)，此時要進行計算機節(jié)點或通訊鏈路的切換，切換過程中一般也會丟失實時數(shù)據(jù)。常見的用于配電自動化系統(tǒng)防止數(shù)據(jù)丟失的方法是利用數(shù)據(jù)緩存技術(shù)，該技術(shù)可在一定程度上緩解計算機節(jié)點或通訊鏈路的切換過程中丟失實時信息的情況，但難點是緩存時間的選擇：緩存的時間過長，會對系統(tǒng)性能造成較大的影響，而緩存時間過短又可能導(dǎo)致實時信息丟失。另外，用于數(shù)據(jù)存儲的商用數(shù)據(jù)庫異常，也會造成歷史數(shù)據(jù)丟失。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是目前的數(shù)據(jù)收集時，不能夠有效對數(shù)據(jù)來源進行備份存儲，對數(shù)據(jù)類型分類設(shè)置，并且在采集時，可能將異常的危險數(shù)據(jù)存儲至數(shù)據(jù)庫內(nèi)，影響其他數(shù)據(jù)的安全，目的在于提供利用大數(shù)據(jù)進行數(shù)據(jù)收集的防丟失系統(tǒng)，解決上述的問題。

本發(fā)明通過下述技術(shù)方案實現(xiàn)：

利用大數(shù)據(jù)進行數(shù)據(jù)收集的防丟失系統(tǒng)，包括數(shù)據(jù)采集模塊、信息過濾模塊、數(shù)據(jù)存儲模塊、日志備份模塊、安全監(jiān)控模塊和數(shù)據(jù)溢出警示模塊，所述數(shù)據(jù)采集模塊在網(wǎng)絡(luò)上進行目標數(shù)據(jù)的采集，并將采集數(shù)據(jù)發(fā)送至信息過濾模塊，所述信息過濾模塊將數(shù)據(jù)采集模塊的數(shù)據(jù)進行整理并分類，將分類后的數(shù)據(jù)發(fā)送至安全監(jiān)控模塊和數(shù)據(jù)存儲模塊，所述數(shù)據(jù)存儲模塊將數(shù)據(jù)資料進行存儲保存，所述日志備份模塊在數(shù)據(jù)存儲模塊接入資料時，從數(shù)據(jù)存儲模塊內(nèi)調(diào)取接入數(shù)據(jù)來源信息，并將其來源信息進行備份存儲，所述安全監(jiān)控模塊對數(shù)據(jù)采集模塊采集的數(shù)據(jù)進行監(jiān)控，將異常的采集數(shù)據(jù)進行隔離，所述數(shù)據(jù)溢出警示模塊在數(shù)據(jù)存儲模塊存儲量達到總存儲量80％以上時，進行警示。目前的數(shù)據(jù)存儲模塊內(nèi)存儲的數(shù)據(jù)往往是采用網(wǎng)絡(luò)爬蟲進行采集，后在數(shù)據(jù)存儲模塊內(nèi)進行分類存儲，這樣做會使得數(shù)據(jù)存儲模塊內(nèi)有很多雜余碎片數(shù)據(jù)，這樣會使得系統(tǒng)反應(yīng)慢，不利于數(shù)據(jù)的存儲和調(diào)取。而本申請中，采用的技術(shù)是將在數(shù)據(jù)存儲模塊內(nèi)的分類存儲放置在外部，將數(shù)據(jù)信息采集過后利用信息過濾模塊將碎片信息進行過濾，并將數(shù)據(jù)分類規(guī)整，所述信息過濾模塊在進行數(shù)據(jù)整理時，將數(shù)據(jù)中的亢余變量進行剔除，通過JavaScript重新對數(shù)據(jù)進行架構(gòu)，將數(shù)據(jù)進行重新排列。這樣就會將碎片信息和多余數(shù)據(jù)抵擋在數(shù)據(jù)存儲模塊外，保證數(shù)據(jù)存儲模塊的運行速度以及調(diào)取速度。所述日志備份模塊，能夠?qū)M入數(shù)據(jù)存儲模塊的數(shù)據(jù)來源進行存儲，僅存儲數(shù)據(jù)來源所需要的存儲空間小，并且存儲到存儲的來源后，方便進行追溯和二級數(shù)據(jù)的獲取，并且將存儲的數(shù)據(jù)來源進行確定后，避免出現(xiàn)未檢查到的異常文件影響到數(shù)據(jù)存儲模塊后，無法進行追查的情況，因為數(shù)據(jù)存儲模塊和日志備份模塊是分開的兩個結(jié)構(gòu)，彼此之間不會受到數(shù)據(jù)的影響。而數(shù)據(jù)溢出警示模塊能夠幫助工作人員確認數(shù)據(jù)存儲模塊的容量，避免出現(xiàn)存儲容量溢出后造成的數(shù)據(jù)遺失。

進一步地，系統(tǒng)內(nèi)還包括設(shè)置有流量控制模塊，所述流量控制模塊與數(shù)據(jù)采集模塊和信息過濾模塊連接，控制數(shù)據(jù)采集模塊采集數(shù)據(jù)量進入信息過濾模塊。通過流量控制模塊能夠?qū)⑿畔⑦^濾模塊內(nèi)的流入信息進行控制，避免出現(xiàn)數(shù)據(jù)過多造成信息過濾模塊無法處理的情況。