[發明專利]一種基于網絡安全的大數據處理系統

在審

• 申請號: 201910265847.5
• 申請日: 2019-04-03
• 公開（公告）號: CN109977700A
• 公開（公告）日: 2019-07-05
• 發明（設計）人: 趙昆楊
• 申請（專利權）人: 福建奇點時空數字科技有限公司
• 主分類號: G06F21/71
• 分類號: G06F21/71;G06F21/62;G06F16/26;G06F16/248
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 陸瀅炎

一種基于網絡安全的大數據處理系統，包括數據采集模塊、數據歸納模塊、互聯網、數據存儲模塊、數據處理模塊、數據統計分析、數據結果展示和數據監控模塊；所述數據采集模塊與所述數據歸納模塊相連，所述數據歸納模塊與所述互聯網相連；所述互聯網上設置有安全防火墻，所述互聯網與所述數據存儲模塊相連；所述數據存儲模塊與所述數據監控模塊相連；所述數據處理模塊與所述互聯網相連；所述數據統計分析與所述數據處理模塊相連；所述數據結果展示與所述數據統計分析相連。本發明通過網絡安全對大數據處理進行安全防護，在提高數據處理準確度的同時網絡紐帶提高大數據處理效率。

技術領域

本發明涉及大數據處理技術領域，尤其涉及一種基于網絡安全的大數據處理系統。

背景技術

大數據處理系統的種類繁多，目前還沒有公認的分類方法。為了清晰掌握技術的發展現狀，這里從負載類型和數據類型兩個角度對代表性的系統進行分類，一方面明確了各種系統的適用范圍；另一方面可看到尚未解決的空白領域。

從負載類型的角度，目前的系統可以劃分為批處理、流式計算和交互式查詢等三類。批處理系統強調系統的高吞吐量，例如Hadoop系統就定位于批處理。流式計算是近幾年興起的一個研究領域，很多應用場景對計算的時效性要求高，希望能夠在盡可能小的延遲內完成，例如在線廣告推薦、入侵檢測和作弊識別等。目前代表性的流式計算系統包括雅虎的s4、Twitter的Storm、Google的MillWheel、微軟的TimeStream和美國加州大學伯克利分校的DStream等。交互式查詢分析主要應用于大規模的數據倉庫，從早期的Hive到Dremel、Impala和Shark等，各種SQL-On-Ha-doop與大規模并行處理(massiveparallelprocessing，MPP)系統不斷出現。

從數據類型的角度，目前的系統提供了集合、表、圖和矩陣等多種數據抽象。通常一個編程框架只適合解決某類問題，無法對各種問題領域都適用。例如，MapReduce適合解決記錄之間相互獨立的集合類數據；Piccolo利用分布式內存存儲表格數據，能夠加快迭代計算的運行效率；MadLINQ提供大規模的矩陣運算，可簡化一大類機器學習和數據挖掘算法的開發。

隨著大數據處理的興起，在大數據處理過程中也面臨很多問題，例如如何提高大數據處理系統處理效率，大數據處理系統的數據信息安全不夠完善，數據信息泄露導致發生重大損失都影響大數據處理系統的穩定性。

為解決上述問題，本申請中提出一種基于網絡安全的大數據處理系統。

發明內容

(一)發明目的

為解決背景技術中存在的技術問題，本發明提出一種基于網絡安全的大數據處理系統，通過網絡安全對大數據處理進行安全防護，在提高數據處理準確度的同時網絡紐帶提高大數據處理效率。

(二)技術方案

為解決上述問題，本發明提供了一種基于網絡安全的大數據處理系統，包括互聯網、數據存儲模塊、數據處理模塊、數據統計分析、數據結果展示和數據監控模塊；

所述互聯網上設置有安全防火墻，所述互聯網與所述數據存儲模塊相連；所述數據存儲模塊與所述數據監控模塊相連；所述數據處理模塊與所述互聯網相連；所述數據統計分析與所述數據處理模塊相連；所述數據結果展示與所述數據統計分析相連；

所述數據存儲模塊對數據進行存儲，防止發生數據丟失情況，便于數據查找訪問；所述數據處理模塊對數據進行處理；所述互聯網模塊用于連接各數據模塊的樞紐，所述互聯網模塊上設置有防火墻對數據安全進行保障；所述數據統計分析對數據處理模塊處理的數據結果進行統計和分析；所述數據結果展示對數據統計分析的內容進行展示，方便了解大數據的處理結果；所述數據監控模塊對數據存儲進行監控，防止數據存儲模塊存儲數據發送丟失或異常。

優選的，所述互聯網上連接有數據歸納模塊，所述數據歸納模塊上連接誒有數據采集模塊。