[發明專利]一種可用于企業級生產的數據中臺構建方法

有效

• 申請號: 202110251347.3
• 申請日: 2021-03-08
• 公開（公告）號: CN112988705B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 鄭良健;林友欽;肖金華;柳明興
• 申請（專利權）人: 廈門靠譜云股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/26;G06F16/27
• 代理公司: 北京律遠專利代理事務所(普通合伙) 11574
• 代理人: 王冠宇

1.一種可用于企業級生產的數據中臺構建方法，其特征在于，所述構建方法包括構建數據開發模塊、構建數據服務模塊和構建數據展現模塊三個步驟；其中：

數據開發模塊包括：FlinkSQL開發模塊、作業調度設計模塊、作業運維監控模塊；所述Flink SQL開發模塊為用戶提供Flink SQL開發界面，支持Flink SQL開發和調試；所述作業調度設計模塊允許用戶自定義多個作業之間的執行依賴和調度順序；所述作業運維監控模塊用于對作業的運行過程進行監控；

數據服務模塊包括：自定義API生成模塊、自定義API注冊模塊；所述自定義API生成模塊用于根據用戶的數據處理需求生成SQL查詢接口以供用戶直接使用；所述自定義API注冊模塊用于對生成的自定義API進行注冊并根據用戶權限為用戶提供相應的注冊服務，并且在此步驟之前，需要在用戶集合和權限集合之間建立角色集合，角色與權限具有一一對應的關系，當用戶被賦予某一角色后，該用戶就可以在所述角色對應的權限范圍內使用注冊服務；

數據展現模塊包括：可視化報表展示模塊、動態大屏展示模塊；所述可視化報表展示模塊用于對分析處理后的數據提供可視化報表展現的能力；所述動態大屏展示模塊用于對分析處理后的數據提供實時動態大屏展示的能力；

構建數據開發模塊步驟中，所述SQL開發模塊基于Codemirror為用戶提供開發界面，支持多用戶對同一項目工程的開發和版本管理；用戶可以將Flink作業以PerJob模式提交至kubernetes集群，并基于Filebeat獲取Filelink作業日志，便于用戶在Flink SQL調試過程中提供實時和或歷史的日志；不同的用戶可以在本地開發，保存版本信息到本地的同時上傳版本信息到服務器；

所述作業調度設計模塊基于Quartz平臺為用戶提供可視化作業調度管理功能，其中不同作業之間的執行順序以任務列表的形式展現或者以有向無環圖的形式展現，用戶可以通過鼠標拖拽的方式改變作業之間的執行順序，并自定義不同作業的執行次數；

所述作業調度設計模塊還用于當用戶改變作業之間的執行順序時，對改變后作業之間的依賴關系進行校驗，當校驗不通過時，在界面中提示用戶當前改變操作無效，并恢復此次改變操作之前的作業執行順序；作業調度設計模塊還用于將多個作業按照定義好的執行順序提交至kubernetes集群以實現作業的自動執行。

2.如權利要求1所述的數據中臺構建方法，其特征在于，構建數據開發模塊步驟中，所述作業運維監控模塊用于將執行中的Flink作業上報至Prometheus中，并以可視化的界面展示給用戶，以供用戶實時掌握作業的運行情況。

3.如權利要求1所述的數據中臺構建方法，其特征在于，構建數據服務模塊步驟中，自定義API生成模塊允許用戶對企業使用的數據源連接進行封裝，基于Flink SQL開發模塊的用戶定義的Flink SQL語句生成查詢計劃，不同的查詢計劃與不同的數據源組合生成自定義API；當用戶請求某一自定義API時，可以根據該API獲取對應的查詢計劃，并在相應的數據源上執行作業，返回結果給用戶。

4.如權利要求1所述的數據中臺構建方法，其特征在于，構建數據展現模塊步驟中，所述可視化報表展示模塊和動態大屏展示模塊從kubernetes集群獲取作業執行結果，并以可視化組件的方式展示給用戶；同時支持二次開發功能，為用戶提供代碼編輯界面，以供用戶對Flink SQL語句進行二次開發并將執行結果實時更新在可視化組件中；用戶可以對可視化報表展示模塊中生成的報表進行分享，并設定報表更新周期。