[發明專利]一種數據處理系統

在審

• 申請號: 201810004876.1
• 申請日: 2018-01-03
• 公開（公告）號: CN108228830A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 蔡念;劉廣聰
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F21/60;G06F21/62;G06F11/14;G06F11/30;G06F11/32
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種數據處理系統，其特征在于，包括：

數據采集模塊，用于根據預設數據采集方式，獲取原始數據；

數據治理模塊，用于對所述原始數據進行修正，獲得目標數據；

存儲檢索模塊，用于將所述目標數據以分布式存儲方式存入預設一體化異構數據庫中，并對外提供檢測服務；

實時計算模塊，用于基于Spark Stream對實時流數據進行計算；

挖掘計算模塊，用于基于預設的算法模型對所述目標數據進行計算；

科研實踐模塊，用于創建圖形化的大數據科研平臺；

統一API模塊，用于整合各類型異構的數據庫的接口，和對接第三方BI開發工具；

數據安全模塊，用于在存儲所述目標數據之前，對所述目標數據進行加密和/或備份；

運維模塊，用于進行事故預測和事故發生后進行追蹤。

2.根據權利要求1所述的數據處理系統，其特征在于，存儲檢索模塊，具體用于采樣編碼容錯技術對所述目標數據進行處理之后，以分布式存儲方式存入預設一體化異構數據庫中，并對外提供檢測服務。

3.根據權利要求1所述的數據處理系統，其特征在于，所述數據采集模塊，具體用于根據預設數據采集方式，獲取原始數據，所述預設數據采集方式包括接口讀取、數據庫獲取、網絡爬蟲或智能錄入。

4.根據權利要求1所述的數據處理系統，其特征在于，所述數據治理模塊，具體用于對所述原始數據修復缺失數據、糾正錯誤數據和對不可用數據進行適配，獲得目標數據。

5.根據權利要求1所述的數據處理系統，其特征在于，所述預設一體化異構數據庫為融合了Mysql、Oracle、HDFS和HIVE的數據庫。

6.根據權利要求1所述的數據處理系統，其特征在于，所述實時計算模塊，包括：

實時流數據獲取單元，用于基于Flume獲取實時流數據；

實時流數據調度單元，用于基于Kafka調度所述實時流數據；

實時流數據聚合單元，用于通過預設實時流數據聚合技術將所述實時流數據聚合；

流數據計算單元，用于采樣Spark Stream對實時流數據進行計算。

7.根據權利要求1所述的數據處理系統，其特征在于，所述實時計算模塊，具體用于對實時流數據進行分片之后，基于Spark Stream對實時流數據進行計算。

8.根據權利要求1所述的數據處理系統，其特征在于，所述挖掘計算模塊，具體用于基于大數據算法和/或機器學習算法模型，對所述目標數據進行計算。

9.根據權利要求1所述的數據處理系統，其特征在于，所述存儲檢索模塊，具體用于將所述預設一體化異構數據庫中的數據進行壓縮。

10.根據權利要求1至9任一項所述的數據處理系統，其特征在于，所述數據處理系統為處理教育大數據的系統。