[發明專利]一種用于網絡大數據的管理系統及管理方法

有效

• 申請號: 202110487888.6
• 申請日: 2021-05-06
• 公開（公告）號: CN112887343B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 劉勝強;王永才;關兆雄;陳衍鵬;吳麗賢;皇甫漢聰;龐維欣
• 申請（專利權）人: 廣東電網有限責任公司佛山供電局
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 蘇云輝

本申請公開了一種網絡大數據的管理系統及管理方法，通過將收集的原始數據分別為若干個數據包，再對若干個數據包進行逐一的檢測其合法性，當判定數據包非法的情況下，丟棄非法數據包，并對非法數據包進行溯源和識別，同時，對非法數據包進行存儲，并進行告警，避免非法數據的亂入，提高了大數據存儲的安全性；同時，通過對數據包進行數據清洗和聚類分析，解決了數據分類混亂的問題；另外，通過對使用頻率較低的數據包進行檢測后，對使用頻率較低的數據包進行壓縮，獲得壓縮數據包，從而降低了使用頻率低的數據占用的存儲空間，提高了大數據存儲的有效性。

技術領域

本申請涉及網絡大數據技術領域，尤其涉及一種用于網絡大數據的管理系統及管理方法。

背景技術

現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，而大數據則是這個高科技時代的產物。

有人說，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數據科技。也有人把數據比喻為蘊藏能量的煤礦，煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。

與此類似，大數據并不在“大”，而在于“有用”。價值含量、挖掘成本比數量更為重要。對于很多行業而言，如何利用這些大規模數據是贏得競爭的關鍵。大數據的價值體現在以下幾個方面：對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷；做小而美模式的中小微企業可以利用大數據做服務轉型;面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值，大數據在日常使用中需要對數據進行存儲管理。

但是常見的系統在使用時，不能對有害的違法信息進行篩選，使得數據庫中混入大量的非法數據，影響大數據存儲的正常使用，同時數據分類較為混亂，使用頻率低的數據占用的存儲空間較大，影響大數據存儲空間的利用價值。

發明內容

本申請提供了一種用于網絡大數據的管理系統及管理方法，用于解決現有的大數據管理無法對非法數據進行篩選，數據分類混亂且使用頻率低的數據占用的存儲空間較大的技術問題。

有鑒于此，本申請第一方面提供了一種用于網絡大數據的管理系統，包括：數據收集模塊、合法性檢測模塊、數據追蹤模塊、報警反饋模塊、非法數據存儲模塊、數據錄入模塊、數據清洗模塊、數據分類模塊、數據使用頻率檢測模塊、數據壓縮模塊、數據寫入模塊和大數據存儲模塊；

所述數據收集模塊用于根據預設的采集節點收集原始數據，還用于根據所述預設的采集節點對所述原始數據分解為若干個數據包，還用于根據所述預設的采集節點生成與所述若干個數據包相應的序列號；還用于將所述若干個數據包傳輸至所述合法性判斷模塊；

所述合法性檢測模塊用于根據預設的合法性判別規則逐一對所述若干個數據包的數據格式和/或數據來源進行合法性檢測，具體為，當數據包的數據格式和數據來源中任意一個條件非法時，則該數據包為非法數據包，當數據包的數據格式和數據來源均為合法時，則判定該數據包為合法數據包，還用于將所述合法數據包傳輸至所述數據錄入模塊；

所述數據追蹤模塊用于接收所述合法性檢測模塊傳輸的所述非法數據包，還用于獲取所述非法數據包相應的序列號，還用于當所述非法數據包具體為數據格式非法且其數據來源合法時，則獲取相應的所述非法數據的數據來源以及序列號；還用于將所述非法數據包傳輸至所述非法數據存儲模塊進行存儲；還用于將所述非法數據包、及其相應的序列號或數據來源傳輸至所述報警反饋模塊，以便于所述報警反饋模塊進行告警以及提供相應的告警信息；

所述數據錄入模塊用于接收所述合法性檢測模塊傳輸的所述合法數據包，還用于將所述合法數據包傳輸至所述數據清洗模塊；

所述數據清洗模塊用于接收所述數據錄入模塊傳輸的所述合法數據包，還用于對所述合法數據包進行數據清洗；還用于將數據清洗后的所述合法數據包傳輸至所述數據分類模塊；