[發(fā)明專利]一種數(shù)據(jù)處理系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810004876.1
• 申請日: 2018-01-03
• 公開（公告）號: CN108228830A
• 公開（公告）日: 2018-06-29
• 發(fā)明（設(shè)計）人: 蔡念;劉廣聰
• 申請（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F21/60;G06F21/62;G06F11/14;G06F11/30;G06F11/32
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

本發(fā)明公開了一種數(shù)據(jù)處理系統(tǒng)，包括：數(shù)據(jù)采集模塊用于根據(jù)預(yù)設(shè)數(shù)據(jù)采集方式，獲取原始數(shù)據(jù)，數(shù)據(jù)治理模塊用于對原始數(shù)據(jù)進行修正，獲得目標(biāo)數(shù)據(jù)，存儲檢索模塊用于將目標(biāo)數(shù)據(jù)以分布式存儲方式存入預(yù)設(shè)一體化異構(gòu)數(shù)據(jù)庫中，并對外提供檢測服務(wù)，實時計算模塊用于基于Spark Stream對實時流數(shù)據(jù)進行計算，挖掘計算模塊用于基于預(yù)設(shè)的算法模型對目標(biāo)數(shù)據(jù)進行計算，科研實踐模塊用于創(chuàng)建圖形化的大數(shù)據(jù)科研平臺，統(tǒng)一API模塊用于整合各類型異構(gòu)的數(shù)據(jù)庫的接口，和對接第三方BI開發(fā)工具，數(shù)據(jù)安全模塊用于在存儲目標(biāo)數(shù)據(jù)之前，對目標(biāo)數(shù)據(jù)進行加密和/或備份，運維模塊用于進行事故預(yù)測和事故發(fā)生后進行追蹤。可有效利用教育大數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)應(yīng)用技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)處理系統(tǒng)。

背景技術(shù)

大數(shù)據(jù)時代，政務(wù)公共數(shù)據(jù)作為社會大眾共享的無形財富。其中，教育數(shù)據(jù)作為公共數(shù)據(jù)的重要組成部分和基礎(chǔ)內(nèi)容，預(yù)計其開放的范圍將越來越大、開放的程度將越來越高。

有報告預(yù)測，2016年中國教育大數(shù)據(jù)市場規(guī)模約為4.49億元人民幣，環(huán)比增長率為61.88％。

綜上所述，如何有效地利用教育大數(shù)據(jù)等問題，是目前本領(lǐng)域技術(shù)人員急需解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種數(shù)據(jù)處理系統(tǒng)，以有效地利用教育大數(shù)據(jù)。

為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

一種數(shù)據(jù)處理系統(tǒng)，包括：

數(shù)據(jù)采集模塊，用于根據(jù)預(yù)設(shè)數(shù)據(jù)采集方式，獲取原始數(shù)據(jù)；

數(shù)據(jù)治理模塊，用于對所述原始數(shù)據(jù)進行修正，獲得目標(biāo)數(shù)據(jù)；

存儲檢索模塊，用于將所述目標(biāo)數(shù)據(jù)以分布式存儲方式存入預(yù)設(shè)一體化異構(gòu)數(shù)據(jù)庫中，并對外提供檢測服務(wù)；

實時計算模塊，用于基于SparkStream對實時流數(shù)據(jù)進行計算；

挖掘計算模塊，用于基于預(yù)設(shè)的算法模型對所述目標(biāo)數(shù)據(jù)進行計算；

科研實踐模塊，用于創(chuàng)建圖形化的大數(shù)據(jù)科研平臺；

統(tǒng)一API模塊，用于整合各類型異構(gòu)的數(shù)據(jù)庫的接口，和對接第三方BI開發(fā)工具；

數(shù)據(jù)安全模塊，用于在存儲所述目標(biāo)數(shù)據(jù)之前，對所述目標(biāo)數(shù)據(jù)進行加密和/或備份；

運維模塊，用于進行事故預(yù)測和事故發(fā)生后進行追蹤。

優(yōu)選地，存儲檢索模塊，具體用于采樣編碼容錯技術(shù)對所述目標(biāo)數(shù)據(jù)進行處理之后，以分布式存儲方式存入預(yù)設(shè)一體化異構(gòu)數(shù)據(jù)庫中，并對外提供檢測服務(wù)。

優(yōu)選地，所述數(shù)據(jù)采集模塊，具體用于根據(jù)預(yù)設(shè)數(shù)據(jù)采集方式，獲取原始數(shù)據(jù)，所述預(yù)設(shè)數(shù)據(jù)采集方式包括接口讀取、數(shù)據(jù)庫獲取、網(wǎng)絡(luò)爬蟲或智能錄入。

優(yōu)選地，所述數(shù)據(jù)治理模塊，具體用于對所述原始數(shù)據(jù)修復(fù)缺失數(shù)據(jù)、糾正錯誤數(shù)據(jù)和對不可用數(shù)據(jù)進行適配，獲得目標(biāo)數(shù)據(jù)。

優(yōu)選地，所述預(yù)設(shè)一體化異構(gòu)數(shù)據(jù)庫為融合了Mysql、Oracle、HDFS和HIVE的數(shù)據(jù)庫。

優(yōu)選地，所述實時計算模塊，包括：

實時流數(shù)據(jù)獲取單元，用于基于Flume獲取實時流數(shù)據(jù)；

實時流數(shù)據(jù)調(diào)度單元，用于基于Kafka調(diào)度所述實時流數(shù)據(jù)；

實時流數(shù)據(jù)聚合單元，用于通過預(yù)設(shè)實時流數(shù)據(jù)聚合技術(shù)將所述實時流數(shù)據(jù)聚合；

流數(shù)據(jù)計算單元，用于采樣SparkStream對實時流數(shù)據(jù)進行計算。