[發明專利]一種大數據實時計算處理系統及方法

在審

• 申請號: 201710259497.2
• 申請日: 2017-04-20
• 公開（公告）號: CN107025298A
• 公開（公告）日: 2017-08-08
• 發明（設計）人: 陳思恩;廖雅哲;楊紫勝;莊曉明
• 申請（專利權）人: 科技谷（廈門）信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廈門致群專利代理事務所(普通合伙)35224
• 代理人: 劉兆慶,鄧貴琴

技術領域

本發明涉及大數據處理技術領域，特別涉及一種大數據實時計算處理系統及方法。

背景技術

隨著互聯網的發展，基于互聯網的營銷業務生命周期越來越短，業務發展變化越來越快，許多業務數據量以指數級增長，這都要求對大量的數據做實時處理，并要求保證數據準確可靠。

在信息爆炸的時代實時數據處理技術的成熟度直接關系到產業轉型升級及發展。目前最流行的莫過于Apache的開源項目Hadoop分布式計算平臺，Hadoop專注于大規模數據存儲和處理。這種模型對以往的許多情形雖已足夠，如系統日志分析、網頁索引建立，但是在大數據實時處理方面，Hadoop的MapReduce卻顯得力不從心，而業務場景中需要低延遲的響應，希望在秒級別或者毫秒級別完成分析，得到響應，并希望能夠隨著數據量的增大而擴展。

發明內容

為解決上述問題，本發明提供了一種大數據實時計算處理系統及方法。

本發明采用以下技術方案：

一種大數據實時計算處理系統，包括存儲單元、數據實時收集模塊、數據實時治理模塊、SQL函數編輯模塊、SQL與STORM方言解析模塊以及STORM執行引擎，所述數據實時收集模塊用于實時收集各種類型的業務數據，并將業務數據實時存儲到存儲單元或實時推送至所述數據實時治理模塊，所述數據實時治理模塊基于主動數據治理的方式，根據預先建立的數據治理規則和數據模板對業務數據進行數據治理，獲得新紀錄的業務數據并存儲到所述存儲單元，所述SQL函數編輯模塊用于根據預選定義的SQL標準規則編輯數據實時計算處理過程中所需的SQL函數，所述SQL與STORM方言解析模塊用于根據SQL標準規則將SQL函數轉換為STORM程序，所述STORM執行引擎用于執行STORM程序并返回結果。

優選地，所述存儲單元包括HDFS文件系統、HBASE數據庫、索引數據庫及關系數據庫，所述索引庫用于存儲數據索引。

優選地，所述數據實時治理模塊具有治理規則定義子模塊和數據模板編輯管理子模塊，所述治理規則定義子模塊用于建立數據治理規則，所述數據模板編輯管理子模塊用于建立或編輯數據模板。

優選地，所述SQL函數編輯模塊具有SQL標準規則定義子模塊和推送子模塊，所述SQL標準規則定義子模塊用于定義SQL標準規則，所述推送子模塊用于向SQL與STORM方言解析模塊推送數據索引及SQL函數。

進一步地，其還包括數據實時查詢模塊，所述數據實時查詢模塊用于通過全文索引、列存數據二級索引實現數據快速查詢。

一種大數據實時計算處理方法，其基于上述的大數據實時計算處理系統實現，該方法包括以下步驟：

S1、預先建立的數據治理規則以及與各種類型業務數據對應的數據模板，預選定義SQL標準規則，利用SQL函數編輯模塊根據SQL標準規則編輯數據實時計算處理、查詢過程中所需的SQL函數；

S2、數據實時收集模塊實時收集各種類型的業務數據，并將業務數據實時存儲到存儲單元或實時推送至所述數據實時治理模塊，當業務數據實時存儲到存儲單元時，業務數據對應的數據索引存儲到存儲單元的索引數據庫，當業務員數據實時推送至所述數據實時治理模塊時，數據實時治理模塊根據預先建立的數據治理規則和數據模板對業務數據進行主動數據治理，獲得新紀錄的業務數據并存儲到所述存儲單元，同時將新紀錄的業務數據的數據索引存儲到存儲單元的索引數據庫；

S3、數據索引及SQL函數推送給SQL與STORM方言解析模塊；

S4、SQL與STORM方言解析模塊根據SQL標準規則將SQL函數轉換為STORM程序，STORM執行引擎執行STORM程序并返回結果。

進一步地，其還包括步驟S5，數據實時查詢模塊通過全文索引、列存數據二級索引實現數據快速查詢。

優選地，在步驟S2中，所述的將業務數據實時存儲到存儲單元之前還包括對業務數據進行數據壓縮。

采用上述技術方案后，本發明與背景技術相比，具有如下優點：

本發明基于標準SQL，能夠實現秒級別或者毫秒級別的實時流計算，處理速度快，低延遲響應。

附圖說明

圖1為本發明實施例一的結構示意圖；

圖2為本發明實施例二的流程示意圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。

實施例一