[發明專利]基于DAG變換的大數據處理方法

在審

• 申請號: 202011390365.1
• 申請日: 2020-12-02
• 公開（公告）號: CN112417226A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 馬成
• 申請（專利權）人: 江蘇賽融科技股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/904;G06F9/451
• 代理公司: 北京同輝知識產權代理事務所(普通合伙) 11357
• 代理人: 廖娜

本發明涉及一種基于DAG變換的大數據處理方法，其從實際的業務數據處理場景出發，構建AOV網并將AOV網從圖形結構變換為邊集數組的圖存儲結構，通過捕捉各頂點計算處理前后的狀態信息通過單鏈表的指針指向關系，拼接所有鏈表結點的算子為一個spark或是flink的可執行表達式。由此，基于可視圖形化的方式將復雜的數據處理場景AOV網化。適用于多種業務領域，在進行數據處理時可以輕松實現抽象到具體的轉換。支持變換所有復雜DAG圖結構為線性單鏈表結構，全覆蓋標準AOV網特性的數據處理場景。擁有豐富類型并可擴展的數據處理節點庫，可滿足圖形化界面組件在AOV網的應用。

技術領域

本發明涉及一種大數據處理方法，尤其涉及一種基于DAG變換的大數據處理方法。

背景技術

就現有的數據處理尤其是大數據處理來看，基于DAG結構進行數據處理的方式是大數據領域的一個不可或缺的組成部分。與簡單的MapReduce處理任務方式不同，DAG是一個可以進行包含數據過濾、數據填充、數據轉換等多種數據處理類型的組合且流程高度復雜的計算作業。

同時，DAG結構的作業場景其實普遍存在于很多領域，但是沒有一個能夠幫助作業人員從比較形象的可視界面出發去制定一個通用的DAG作業圖，并且自動進行轉換處理的方法，很難將領域中的DAG流程場景轉化為一個可以自動運行計算的數據處理方法。

隨著大數據技術的慢慢普及，越來越多的業務場景可以被轉換到自動化的大數據平臺進行分發處理。同時，在更多的領域，也存在越來越多簡單或是復雜的業務場景，都希望能夠轉換到大數據計算平臺進行處理，而這其中的大部分業務領域的抽象流程，都是一個標準的AOV網(即有向無環圖DAG的一種)。

但是，到目前為止，還沒有一個較完備的基于DAG的大數據處理方法，能夠從圖形化用戶界面進行業務作業構建，再進行多道數據結構變換處理，并對接到多類型的數據計算平臺(如spark或flink)，從而完成整個復雜業務的大數據處理。

并且，結合現有的用于大數據分析處理的開源項目來看，有傳統的Hadoop-mapreduce，也有近幾年比較主流的Tez、Spark等DAG批處理引擎，包括目前主流的用于處理實時流式數據的flink計算引擎。數據的處理流程抽象后總是會偏向于一個DAG，其實正是因為我們各領域的業務流轉場景，它就是一個完整的DAG。但是從領域業務流程到實際最后一環的數據處理，目前不管是上述的開源大數據項目，亦或是一些圖形化工具，都無法實現將一個數據處理場景從業務抽象開始，經過多層轉換處理，最終可對接到多類型大數據平臺進行數據處理。

有鑒于上述的缺陷，本設計人，積極加以研究創新，以期創設一種基于DAG變換的大數據處理方法，使其更具有產業上的利用價值。

發明內容

為解決上述技術問題，本發明的目的是提供一種基于DAG變換的大數據處理方法。

本發明的基于DAG變換的大數據處理方法，其包括以下步驟：

步驟一，從實際的業務數據處理場景出發，構建AOV網；

步驟二，將AOV網從圖形結構變換為邊集數組的圖存儲結構，所述邊集數組采用頂點數組和邊數組組成；

步驟三，將邊集數組的圖存儲結構變換為鄰接表結構，所述鄰接表結構為頂點數組和弧鏈表組成；

步驟四，對鄰接表結構，進行拓撲排序處理，得到拓撲排序后的頂點數組；

步驟五，對頂點數組進行裝飾，捕捉各頂點計算處理前后的狀態信息；

步驟六，將頂點數組進一步轉換為單鏈表，通過鏈表分別進行計算邏輯的拼接，最終形成可動態執行的線性數據計算流；

步驟七，通過單鏈表的指針指向關系，拼接所有鏈表結點的算子為一個spark或是flink的可執行表達式；