[發明專利]一種基于元數據的流式數據處理系統

在審

• 申請號: 202110996670.3
• 申請日: 2021-08-27
• 公開（公告）號: CN113821538A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 陶志強;魏晟坤;蒲凌云;馬新成
• 申請（專利權）人: 中通服公眾信息產業股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/28;G06F8/34;G06F8/38
• 代理公司: 濟南智圓行方專利代理事務所(普通合伙企業) 37231
• 代理人: 王華

本發明提供了一種基于元數據的流式數據處理系統，屬于數據處理技術領域。其技術方案為：一種基于元數據的流式數據處理系統，包括元數據管理模塊，所述元數據管理模塊能夠根據數據的形態和存儲方式定義元模型的結構；流程管理模塊，包括流程管理組件及流程編排組件；流程調度模塊，所述流程調度模塊能夠獲取流程執行圖，并根據所述流程執行圖分配執行任務并發出相應的執行指令；流程執行模塊，所述流程執行模塊能夠接收所述執行指令，并執行相應的所述執行任務，啟動相應的算子開始計算。本發明的有益效果為通過可視化的方法對元數據定義、流程定義、流程編排，使用拖曳組件和模型驅動的邏輯來創建流式處理流程。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于元數據的流式數據處理系統。

背景技術

目前隨著互聯網、物聯網技術飛速的發展，信息瀏覽、檢索，物聯網設備的數據上報，以及電子商務、互聯網等很多常見的生活產品已經全部在線化。對于實時的要求進一步提升，而信息的交互和溝通正在從點對點往信息鏈甚至信息網的方向發展，這樣必然帶來數據在各個維度的交叉關聯，數據爆炸已不可避免，因此流式處理應運而生，解決了實時框架和數據大規模計算的問題。

當前實時處理需要掌握各種大數據技術及流處理技術，對開發人員技能要求較高。當流式數據處理業務較多時，缺乏統一的管理，業務快速演進、需求快速變化，設計新的數據處理流程或者修改已有的流程無法迅速實施。

鑒于當前智慧安防、智慧城市、智慧農業、智慧交通等行業的飛速發展，積累了大量數據，這些數據的匯聚和治理，往往需要各平臺自己完成，這就產生了大量重復工作，并且數據缺乏管理，難以充分利用。

這就需要一套適用于各行各業的通用流式數據處理系統，能夠通過元數據的配置，動態完成數據的匯聚接口、存儲、治理、推送、共享及可視化。在企業中，只要有數據存在的地方，就有其對應元數據，只有完整、準確的元數據存在，才能更好地理解數據，充分挖掘數據的價值，這樣就可以使行業應用的研發把精力聚焦在業務本身，而不是繁瑣的數據處理和治理方面。

發明內容

針對上述現有技術中的問題，本發明的目的在于提供一種基于元數據的流式數據處理系統，通過可視化的方法對元數據定義、流程定義、流程編排，使用拖曳組件和模型驅動的邏輯來創建流式處理流程。

本發明是通過如下技術方案實現的：一種基于元數據的流式數據處理系統，包括元數據管理模塊，所述元數據管理模塊能夠根據數據的形態和存儲方式定義元模型的結構；流程管理模塊，包括流程管理組件及流程編排組件，所述流程編排組件嵌有流程編排交互界面，在所述流程編排交互界面通過拖放算子進行可視化流程編排，編排完成后形成流式處理流程及相應的流程元數據；所述流程管理組件能夠獲取所述流程元數據并解析為流程執行圖；

流程調度模塊，所述流程調度模塊能夠獲取流程執行圖，并根據所述流程執行圖分配執行任務并發出相應的執行指令；

流程執行模塊，所述流程執行模塊能夠接收所述執行指令，并執行相應的所述執行任務，啟動相應的算子開始計算。

進一步，所述元模型包括：接口元模型、邏輯元模型、物理元模型；根據所述元模型定義相應的元數據的結構，所述元數據包括：接口元數據、邏輯元數據、物理元數據。

進一步，所述算子采用Flink或Springboot實現，包括：匯聚算子、轉換算子、分發算子、聚合算子、推送算子。