[發明專利]面向數據流的大數據處理方法、裝置和計算機設備

在審

• 申請號: 202111427907.2
• 申請日: 2021-11-26
• 公開（公告）號: CN114217785A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 陽王東;池偉鳴;李肯立;唐艷陽;鄒驍鋒;周旭;肖國慶;胡逸騉
• 申請（專利權）人: 湖南大學
• 主分類號: G06F8/36
• 分類號: G06F8/36
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 左幫勝

本申請涉及一種面向數據流的大數據處理方法、裝置和計算機設備。所述方法包括：獲取用戶終端上傳的DAG圖，圖形算子以圖形界面的方式呈現，表征封裝有業務邏輯的算子代碼，DAG圖中圖形算子之間的數據流向表征業務流程數據流，當DAG圖滿足預設合理性要求時，將DAG圖中的各圖形算子對應轉換為JSON格式的算子對象，JSON格式的算子對象存放有對應的圖形算子的父節點在DAG圖中的編號，根據JSON格式的算子對象，創建表征業務流程調度入口函數，以實現各算子對象的實例所對應的業務功能。采用本方法在業務流程修改時，無需重新編寫調用語句，提高數據處理效率。

技術領域

本申請涉及大數據處理技術領域，特別是涉及一種面向數據流的大數據處理方法、裝置、計算機設備、存儲介質和計算機程序產品。

背景技術

隨著大數據技術的快速發展，現有的大數據處理平臺(例如Spark、Flink、Storm等)都提供了數據流處理模型，并且提供了自動的數據分割、任務調度、負載均衡、數據緩存、數據通信等算子，其大幅度降低了系統開發的復雜度，并能夠適應大容量和高并發的高通量需求。

此外，隨著功能模塊封裝的流行性，可視化編程在許多非計算機領域得到廣泛的應用，但基本上屬于編程結構和語句的圖形化表述，現有基于大數據處理平臺的數據流處理平臺仍然具有一些不可忽略的問題，例如，若每次要處理新的業務都需要重新開始編碼，對于已經編寫并封裝好的模塊，也需要重復編寫調用語句，容易出錯；并且，由于業務的模塊代碼調度沒有一個很直觀的展示，導致使用門檻較高，用戶友好度較差，無疑拉長了處理時長。

由此看來，現有的面向數據流的大數據處理方法存在處理效率低下的問題。

發明內容

基于此，有必要針對上述技術問題，提供一種高效的面向數據流的大數據處理方法、裝置、計算機設備、計算機可讀存儲介質和計算機程序產品。

第一方面，本申請提供了一種面向數據流的大數據處理方法。所述方法包括：

獲取用戶終端上傳的DAG(Directed Acyclic Graph，有向無環圖)圖和DAG圖中各圖形算子的輸入參數，圖形算子以圖形界面的方式呈現，且表征封裝有業務邏輯的算子代碼，DAG圖中圖形算子之間的數據流向表征業務流程數據流；

當DAG圖滿足預設合理性要求時，將DAG圖中的各圖形算子對應轉換為JSON格式的算子對象，JSON格式的算子對象存放有對應的圖形算子的父節點在DAG圖中的編號；

根據JSON格式的算子對象，創建業務流程調度入口函數。

在其中一個實施例中，獲取用戶終端上傳的DAG圖之前，還包括：

獲取用戶終端上傳的算子jar包，算子jar包包括算子和算子所依賴的靜態數據文件；

根據預設圖形算子生成規則，生成與算子對應的圖形算子；

發送DAG圖繪制消息至所述用戶終端，DAG圖繪制消息攜帶圖形算子，圖形算子用于供用戶根據業務流程進行排列組合得到DAG圖。

在其中一個實施例中，判斷DAG圖是否滿足預設合理性要求包括：

檢查DAG圖中是否存在環，以及檢查DAG圖中各圖形算子的輸入參數的完整性和規范性；

當DAG圖中不存在環且DAG圖中各圖形算子的輸入參數滿足完整性和規范性要求時，判定DAG圖滿足預設合理性要求，否則，判定DAG圖不滿足預設合理性要求，發送DAG圖重繪消息至用戶終端。

在其中一個實施例中，將DAG圖中的各圖形算子對應轉換為JSON格式的算子對象包括：

將DAG圖中各圖形算子對應轉換為JSON格式的算子對象，并設置每個算子對象的屬性，屬性包括名稱屬性、編號屬性、父節點編號屬性和參數列表屬性。