[發明專利]一種可用于企業級生產的數據中臺構建方法

有效

• 申請號: 202110251347.3
• 申請日: 2021-03-08
• 公開（公告）號: CN112988705B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 鄭良健;林友欽;肖金華;柳明興
• 申請（專利權）人: 廈門靠譜云股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/26;G06F16/27
• 代理公司: 北京律遠專利代理事務所(普通合伙) 11574
• 代理人: 王冠宇

本發明公開了一種可用于企業級生產的數據中臺構建方法，所述構建方法包括構建數據開發模塊、構建數據服務模塊和構建數據展現模塊三個步驟。

技術領域

本發明涉及大數據計算領域，具體涉及一種集成數據開發、測試、部署上線全鏈路的數據中臺構建方法。

背景技術

隨著云計算、互聯網、物聯網、社交媒體等信息技術的迅速發展，企業需要處理的數據量正在以指數級別的速率增長，而急劇增長的數據量致使企業在進行數據的維護和分析變得越來越困難。隨著數據的時效性日益突出，數據的流式特征也變得更加明顯，越來越多的企業級應用場景，例如金融銀行業、互聯網、物聯網等需要部署在流式計算平臺上，例如Apache Flink、Apache Storm、J-Storm、Heron、Spark Streaming等。

Flink平臺目前已被很多國內外企業應用，雖然Flink平臺作為新一代集流處理、批處理于一體的大數據計算引擎，在架構和理論模型上有創新，但是其在數據量巨大的實際業務場景中，還是有很多不足之處。例如Flink目前只提供Jar包的運行形式，對FlinkSQL的支持還不完善，沒有作業間依賴，并不能直接用于企業復雜的生產工作中。

為了充分發揮大數據在企業生產的驅動能力，在業務和數據的轉換過程中就出現了數據中臺這一概念。企業數據中臺可以抽象理解為多項復用的服務集合，也能具化理解為多個軟件服務的集成，是將企業的抽象出來的各項數據能力封裝在一個邏輯層面，連接前臺業務與后臺服務，頻繁服務于業務調動與數據抽取傳輸，數據中臺承擔著為企業各項業務提供數據服務的職責，所以它是和業務價值緊密綁定的，是價值鏈上的重要服務之一。因此，如何針對企業數據維護和處理的現狀提出一種更適合企業級生產的數據中臺是目前亟待解決的問題之一。

發明內容

為了適應目前大多數企業對于Flink平臺的部署使用，本發明提出一套完整的可用于企業級生產的數據處理鏈路即數據中臺，包括數據開發、數據服務、數據展現；可以滿足企業在多種復雜條件下的計算任務需求、對分析后的數據提供對外API及數據展現的需求。

所述數據中臺的構建方法主要包括構建數據開發模塊、構建數據服務模塊和構建數據展現模塊這三個步驟。

其中數據開發模塊包括：FlinkSQL開發模塊、作業調度設計模塊、作業運維監控模塊；其中Flink SQL開發模塊為用戶提供Flink SQL開發界面，支持Flink SQL開發和調試；作業調度設計模塊允許用戶自定義多個作業之間的執行依賴和調度順序；作業運維監控模塊用于對作業的運行過程進行監控。

其中數據服務模塊包括：自定義API生成模塊、自定義API注冊模塊；其中自定義API生成模塊用于根據用戶的數據處理需求生成SQL查詢接口以供用戶直接使用；自定義API注冊模塊用于對生成的自定義API進行注冊并根據用戶權限為用戶提供相應的注冊服務。

其中數據展現模塊包括：可視化報表展示模塊、動態大屏展示模塊；其中可視化報表展示模塊用于對分析處理后的數據提供可視化報表展現的能力；動態大屏展示模塊用于對分析處理后的數據提供實時動態大屏展示的能力。

進一步地，Flink SQL開發模塊基于Codemirror為用戶提供開發界面，支持多用戶對同一項目工程的開發和版本管理；用戶可以將Flink作業以PerJob模式提交至kubernetes集群，并基于Fillebeat獲取Fllink作業日志，便于用戶在Flink SQL調試過程中提供實時和或歷史的日志。

進一步地，不同的用戶可以在本地開發，保存版本信息到本地的同時上傳版本信息到服務器。

進一步地，作業調度設計模塊基于Quarz平臺為用戶提供可視化作業調度管理功能，其中不同作業之間的執行順序可以以任務列表的形式展現，也可以以有向無環圖的形式展現，用戶可以通過鼠標拖拽的方式改變作業之間的執行順序，并自定義不同作業的執行次數。