[發明專利]數據處理引擎

有效

• 申請號: 201611155414.7
• 申請日: 2016-12-14
• 公開（公告）號: CN106777101B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 譚紅濤;王志安;張偉;田海均;吳建;劉光榕
• 申請（專利權）人: 深圳天源迪科信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/245;G06F16/25
• 代理公司: 深圳市德力知識產權代理事務所 44265
• 代理人: 林才桂

1.一種數據處理引擎，其特征在于，包括：規則配置模塊(1)、與所述規則配置模塊(1)關聯的規則庫(2)、與所述規則庫(2)關聯的規則處理模塊(3)、與所述規則處理模塊(3)關聯的規則編譯模塊(4)、與所述規則編譯模塊(4)關聯的程序管理器(5)、與所述程序管理器(5)關聯的執行模塊(6)、以及與所述執行模塊(6)關聯的大數據平臺(7)；

所述執行模塊(6)中設有多種數據處理工具；

所述規則配置模塊(1)用于提供可視化界面供用戶填寫數據處理的規則配置參數或SQL語句，并根據預設的編譯規則自動將用戶填寫的規則配置參數編譯成配置程序或解析用戶填寫的SQL語句獲取規則配置參數，再將規則配置參數編譯成配置程序，并將配置程序寫入規則庫(2)；

所述規則庫(2)用于保存配置程序；

所述規則處理模塊(3)用于從規則庫(2)加載配置程序，并根據預設的驗證項驗證配置程序的是否可執行，若配置程序可執行，則將配置程序發送到規則編譯模塊(4)，若配置程序不可執行，則提示不可執行以及不可執行的原因；

所述規則編譯模塊(4)接收配置程序，并根據配置程序選定數據處理工具，同時將配置程序編譯成選定的數據處理工具能夠識別的一個或多個執行程序，并發送到程序管理器(5)；

所述程序管理器(5)用于根據各個執行程序的關系確定各個執行程序的執行順序，并依次發送到執行模塊(6)；

所述執行模塊(6)用于接收執行程序，并將執行程序提交到該數據處理工具對應的大數據平臺(7)進行數據處理；

所述大數據平臺(7)用于根據執行程序進行數據處理。

2.如權利要求1所述的數據處理引擎，其特征在于，所述數據處理工具包括：Hive、MYSQL、ORACLE、MAPREDUCE、PIG、SPARK、以及實時流數據處理工具。

3.如權利要求1所述的數據處理引擎，其特征在于，所述執行模塊(6)還用于與大數據平臺(7)進行交互，實時監控數據處理的執行進度。

4.如權利要求1所述的數據處理引擎，其特征在于，所述執行模塊(6)還用于停止大數據平臺(7)中正在執行的數據處理任務。

5.如權利要求2所述的數據處理引擎，其特征在于，

當選定的數據處理工具為Hive時，所述規則編譯模塊(4)將配置程序封裝為Hive可識別的SQL語句；

當選定的數據處理工具為MYSQL時，所述規則編譯模塊(4)將配置程序封裝為MYSQL可識別的MYSQL-SQL腳本；

當選定的數據處理工具為ORACLE時，所述規則編譯模塊(4)將配置程序封裝為ORACLE可識別的ORACLE-SQL腳本；

當選定的數據處理工具為MAPREDUCE時，所述規則編譯模塊(4)依據配置程序識別規則，用代碼生成器生成相應的模板代碼；

當選定的數據處理工具為PIG時，所述規則編譯模塊(4)依據配置程序識別規則，用代碼生成器生成相應的PIG腳本；

當選定的數據處理工具為SPARK時，所述規則編譯模塊(4)將配置程序將規則封裝為SPARK DATAFRAME代碼以及SPARK-SQL腳本；

當選定的數據處理工具為實時流數據處理工具時，所述規則編譯模塊(4)依據配置程序識別規則，生成實時流數據處理工具相應的配置。

6.如權利要求1所述的數據處理引擎，其特征在于，所述規則配置參數包括：數據來源、數據連接條件、數據過濾條件、聚合條件、數據清理條件、以及字段映射配置。

7.如權利要求6所述的數據處理引擎，其特征在于，所述字段映射配置包括：字段來源模型、來源字段、映射規則、分區規則及字段屬性。

8.如權利要求6所述的數據處理引擎，其特征在于，所述驗證項包括：對數據連接條件、數據過濾條件、聚合條件、字段映射配置、以及數據清理條件分別進行語法驗證，判斷其表達式中函數對應數據處理工具是否存在以及該表達式是否符合對應數據處理工具的語法。

9.如權利要求1所述的數據處理引擎，其特征在于，所述規則配置模塊(1)解析用戶填寫的SQL語句獲取規則配置參數的具體過程為：規則配置模塊(1)根據預設的判定規則判定SQL語句的復雜程度，若SQL語句為復雜語句則將其拆分為多個子程序，再解析各個子程序獲取規則配置參數，若SQL語句為非復雜語句則直接解析該SQL語句獲取規則配置參數。