[發明專利]用于軟件大數據的收集防丟失系統

在審

• 申請號: 201810605871.4
• 申請日: 2018-06-13
• 公開（公告）號: CN110598465A
• 公開（公告）日: 2019-12-20
• 發明（設計）人: 李莎
• 申請（專利權）人: 李莎
• 主分類號: G06F21/64
• 分類號: G06F21/64
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了用于軟件大數據的收集防丟失系統，包括數據采集模塊、信息過濾模塊、數據存儲模塊、日志備份模塊、安全監控模塊和數據溢出警示模塊，所述數據采集模塊在網絡上進行目標數據的采集，并將采集數據發送至信息過濾模塊，所述信息過濾模塊將數據采集模塊的數據進行整理并分類，將分類后的數據發送至安全監控模塊和數據存儲模塊，所述數據存儲模塊將數據資料進行存儲保存，所述日志備份模塊在數據存儲模塊接入資料時，從數據存儲模塊內調取接入數據來源信息，并將其來源信息進行備份存儲，所述安全監控模塊對數據采集模塊采集的數據進行監控，將異常的采集數據進行隔離。

技術領域

本發明涉及一種數據防丟失系統，具體涉及用于軟件大數據的收集防丟失系統。

背景技術

隨著大數據時代的來臨，用戶群體的迅速擴張，用戶對數據的穩定性、可靠性和安全性的要求越來越高。數據采集處理和存儲服務是配電自動化系統的基本功能，也是實現饋線故障自動處理、實時拓撲分析和電網動態著色等高級應用的基礎。而在大容量情況下進行壓力測試，即短時間內模擬大量遙信和遙測變化，就有可能導致配電自動化系統丟失實時數據，此時要進行計算機節點或通訊鏈路的切換，切換過程中一般也會丟失實時數據。常見的用于配電自動化系統防止數據丟失的方法是利用數據緩存技術，該技術可在一定程度上緩解計算機節點或通訊鏈路的切換過程中丟失實時信息的情況，但難點是緩存時間的選擇：緩存的時間過長，會對系統性能造成較大的影響，而緩存時間過短又可能導致實時信息丟失。另外，用于數據存儲的商用數據庫異常，也會造成歷史數據丟失。

發明內容

本發明所要解決的技術問題是目前的數據收集時，不能夠有效對數據來源進行備份存儲，對數據類型分類設置，并且在采集時，可能將異常的危險數據存儲至數據庫內，影響其他數據的安全，目的在于提供用于軟件大數據的收集防丟失系統，解決上述的問題。

本發明通過下述技術方案實現：

用于軟件大數據的收集防丟失系統，包括數據采集模塊、信息過濾模塊、數據存儲模塊、日志備份模塊、安全監控模塊和數據溢出警示模塊，所述數據采集模塊在網絡上進行目標數據的采集，并將采集數據發送至信息過濾模塊，所述信息過濾模塊將數據采集模塊的數據進行整理并分類，將分類后的數據發送至安全監控模塊和數據存儲模塊，所述數據存儲模塊將數據資料進行存儲保存，所述日志備份模塊在數據存儲模塊接入資料時，從數據存儲模塊內調取接入數據來源信息，并將其來源信息進行備份存儲，所述安全監控模塊對數據采集模塊采集的數據進行監控，將異常的采集數據進行隔離，所述數據溢出警示模塊在數據存儲模塊存儲量達到總存儲量80％以上時，進行警示。目前的數據存儲模塊內存儲的數據往往是采用網絡爬蟲進行采集，后在數據存儲模塊內進行分類存儲，這樣做會使得數據存儲模塊內有很多雜余碎片數據，這樣會使得系統反應慢，不利于數據的存儲和調取。而本申請中，采用的技術是將在數據存儲模塊內的分類存儲放置在外部，將數據信息采集過后利用信息過濾模塊將碎片信息進行過濾，并將數據分類規整，這樣就會將碎片信息和多余數據抵擋在數據存儲模塊外，保證數據存儲模塊的運行速度以及調取速度。所述日志備份模塊，能夠對進入數據存儲模塊的數據來源進行存儲，僅存儲數據來源所需要的存儲空間小，并且存儲到存儲的來源后，方便進行追溯和二級數據的獲取，并且將存儲的數據來源進行確定后，避免出現未檢查到的異常文件影響到數據存儲模塊后，無法進行追查的情況，因為數據存儲模塊和日志備份模塊是分開的兩個結構，彼此之間不會受到數據的影響。而數據溢出警示模塊能夠幫助工作人員確認數據存儲模塊的容量，避免出現存儲容量溢出后造成的數據遺失。

進一步地，系統內還包括設置有流量控制模塊，所述流量控制模塊與數據采集模塊和信息過濾模塊連接，控制數據采集模塊采集數據量進入信息過濾模塊。通過流量控制模塊能夠將信息過濾模塊內的流入信息進行控制，避免出現數據過多造成信息過濾模塊無法處理的情況。