[發明專利]數據處理引擎

有效

• 申請號: 201611155414.7
• 申請日: 2016-12-14
• 公開（公告）號: CN106777101B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 譚紅濤;王志安;張偉;田海均;吳建;劉光榕
• 申請（專利權）人: 深圳天源迪科信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/245;G06F16/25
• 代理公司: 深圳市德力知識產權代理事務所 44265
• 代理人: 林才桂

本發明提供一種數據處理引擎，其根據大數據處理的特點在規則配置模塊中設置可視化界面供用戶填寫配置參數，并根據預設的編譯規則自動將用戶填寫的規則配置參數編譯成配置程序或提供可視化界面解析用戶填寫的SQL語句獲取規則配置參數，再將規則配置參數編譯成配置程序，根據配置程序智能選擇數據處理工具并編譯該數據處理工具可識別的執行程序進行數據處理，能夠以統一的配置根據用戶需求智能選擇數據處理工具，自動完成數據處理，簡化用戶操作，降低數據處理難度，提升數據處理效率。

技術領域

本發明涉及大數據技術領域，尤其涉及一種數據處理引擎。

背景技術

信息科技經過60多年的發展，已滲透到各行業的方方面面。政治、經濟活動中很大一部分的活動都與數據的創造、采集、傳輸和使用相關，隨著網絡應用日益深化，大數據應用的影響日益擴大。根據機構測算，全世界數據總量以每兩年翻一番的速度遞增。換句話說，最近兩年產生的數據總量相當于人類有史以來所有數據量的總和。在這個背景下，從公司戰略到產業生態，從學術研究到生產實踐，從城鎮管理乃至國家治理，都將發生本質的變化。

大數據指的是大小超出常規的數據工具獲取、存儲、管理和分析能力的數據集，并不是說一定要超過特定TB值得數據集才能算是大數據。國際數據公司(IDC)從四個特征定義大數據，即海量的數據規模(Volume)、快速的數據流轉和動態的數據體系(Velocity)、多樣的數據類型(Variety)和巨大的數據價值(Value)。大數據幾乎滲透到國民經濟的所有部門，應用領域涉及信息服務、智慧城市、金融、制造業、國家安全和科學研究等。

如今開源大數據技術已經成熟，憑借其低成本和高擴展性的特點，推動了很多企業的數據匯聚、加工向大數據集群處理模式的轉變。在大數據時代，數據資產化和價值化成為企業的核心競爭力，如何完成對爆發式增長的數據的處理成為企業實際的問題，目前，大數據平臺下的數據處理分為批處理技術和實時處理技術，批處理工具包含Mapreduce、hive、spark以及衍生出來的impla、pig、和tez等技術，實時處理工具包括strom、和spark-staream以及相關配套的技術redis、kafka、和hbase等，如此多的工具就是為了滿足在大數據環境下的數據處理。每個工具都有自己單獨的任務提交與管理方式，并且往往主要針對特定應用場景，而現實中大數據處理一般都是混合型場景，因此進行大數據處理時往往會部署多種大數據處理工具，技術人員需要學習數據處理工具實在太多太雜，學習難度極高，大數據人才及其難得，對于企業人力成本也是不可承受之重，阻礙了大數據平臺的普及，影響了行業發展。

發明內容

本發明的目的在于提供一種數據處理引擎，能夠以統一的配置根據用戶需求智能選擇數據處理工具，自動完成數據處理，簡化用戶操作，降低數據處理難度，提升數據處理效率。

為實現上述目的，本發明提供了一種數據處理引擎，包括：規則配置模塊、與所述規則配置模塊關聯的規則庫、與所述規則庫關聯的規則處理模塊、與所述規則處理模塊關聯的規則編譯模塊、與所述規則編譯模塊關聯的程序管理器、與所述程序管理器關聯的執行模塊、與所述執行模塊關聯的若干大數據平臺；

所述執行模塊中設有多種數據處理工具；

所述規則配置模塊用于提供可視化界面供用戶填寫數據處理的規則配置參數或SQL語句，并根據預設的編譯規則自動將用戶填寫的規則配置參數編譯成配置程序或解析用戶填寫的SQL語句獲取規則配置參數，再將規則配置參數編譯成配置程序，并將配置程序寫入規則庫；

所述規則庫用于保存配置程序；

所述規則處理模塊用于從規則庫加載配置程序，并根據預設的驗證項驗證配置程序的是否可執行，若配置程序可執行，則將配置程序發送到規則編譯模塊，若配置程序不可執行，則提示不可執行以及不可執行的原因；