[發明專利]一種基于大數據技術的數據分析方法管理系統

在審

• 申請號: 202210631056.1
• 申請日: 2022-06-06
• 公開（公告）號: CN114840514A
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 夏鳴;陳俊樺;吳雪峰
• 申請（專利權）人: 江蘇中電通智能科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/9035;G06F16/906;G06F16/9535
• 代理公司: 南京禾易知識產權代理有限公司 32320
• 代理人: 徐晶晶

本發明公開了一種基于大數據技術的數據分析方法管理系統，包括數據預處理層，所述大數據安全管理平臺包括數據預處理層，所述數據預處理層的預處理方法包括數據清理、數據集成、數據變換和數據規約，所述數據預處理層的內容包括數據審核、數據篩選和數據排序。該管理系統數據源的來源包括社交網絡、電商系統、搜索引擎等方面，形式可以是數字、文字、圖片、語音、視頻等數據，通過數據源審計層和日志采集層的安全分類、過濾以及歸并整理后進行預處理，數據預處理層通過數據清理、數據集成、數據變換和數據規約的方法實現數據審核、數據篩選和數據排序，提高數據的質量、真實性以及完整性。

技術領域

本發明涉及大數據分析技術領域，具體為一種基于大數據技術的數據分析方法管理系統。

背景技術

大數據技術的核心就是大數據分析，一般地，人們將大數據分析定義為一組能夠高效存儲和處理海量數據、并有效達成多種分析目標的工具及技術的集合；

例如公告號為CN112632156A的中國授權專利(一種基于大數據的計算機數據分析管理系統)：包括數據采集模塊，用于根據用戶錄入的數據采集計劃，定時運行對應的數據挖掘模型實現目標數據的采集；數據預處理模塊，用于根據用戶錄入的數據分析規則，運行對應的數據預處理模型實現目標數據的預處理；數據分析模塊，用于根據用戶錄入的數據分析目標，運行對應的數據分析模型實現目標數據的分析，并獲取到對應的分析報表。本發明可以根據數據采集計劃，自動運行對應的數據挖掘模型、數據預處理模型和數據分析模塊依次完成大數據的采集、預處理和分析工作，無需人為進行計算機程序的調整，實現了大數據的連續采集和自主分析；

上述現有技術雖然能夠實現大數據的連續采集和自主分析，但是，整體分析管理系統不夠全面，適用范圍較小。

發明內容

本發明的目的在于提供一種基于大數據技術的數據分析方法管理系統，以解決上述背景技術中提出的現有的分析管理系統不夠全面，適用范圍較小的問題。

為實現上述目的，本發明提供如下技術方案：一種基于大數據技術的數據分析方法管理系統，包括：大數據安全管理平臺；

數據預處理層，所述大數據安全管理平臺包括數據預處理層，所述數據預處理層的預處理方法包括數據清理、數據集成、數據變換和數據規約，所述數據預處理層的內容包括數據審核、數據篩選和數據排序；

數據存儲層，所述大數據安全管理平臺包括數據存儲層，所述數據存儲層包括大數據存儲方式和大數據存儲技術路線；

數據分析挖掘層，所述大數據安全管理平臺包括數據分析挖掘層，所述數據分析挖掘層包括實施數據分析和歷史數據分析，所述數據分析挖掘層的計算分析框架包括批處理框架、流處理框架、交互式計算框架、混合處理框架和圖數據處理框架；

數據結果應用層，所述大數據安全管理平臺包括數據結果應用層，所述數據結果應用層包括醫療領域、教育領域、商業領域、工農業領域和交通領域。

優選的，所述大數據存儲方式包括分布式系統、NoSQL數據庫和云數據庫。

優選的，所述大數據存儲技術路線包括分布式架構、大數據一體機和MPP混合架構。

優選的，所述大數據安全管理平臺包括數據生產和獲取層。

優選的，所述大數據安全管理平臺包括數據源審計層。

優選的，所述大數據安全管理平臺包括日志采集層。

優選的，所述大數據安全管理平臺的層級從下到上依次為數據生產和獲取層、數據源審計層、日志采集層、數據預處理層、數據存儲層、數據分析挖掘層和數據結果應用層。

優選的，所述數據源審計層包括軟硬件基礎設施，所述軟硬件基礎設施包括服務器、網絡設備、安防設備、數據庫和中間件。