[發明專利]基于DAG變換的大數據處理方法

在審

• 申請號: 202011390365.1
• 申請日: 2020-12-02
• 公開（公告）號: CN112417226A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 馬成
• 申請（專利權）人: 江蘇賽融科技股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/904;G06F9/451
• 代理公司: 北京同輝知識產權代理事務所(普通合伙) 11357
• 代理人: 廖娜

1.基于DAG變換的大數據處理方法，其特征在于包括以下步驟：

步驟一，從實際的業務數據處理場景出發，構建AOV網；

步驟二，將AOV網從圖形結構變換為邊集數組的圖存儲結構，所述邊集數組采用頂點數組和邊數組組成；

步驟三，將邊集數組的圖存儲結構變換為鄰接表結構，所述鄰接表結構為頂點數組和弧鏈表組成；

步驟四，對鄰接表結構，進行拓撲排序處理，得到拓撲排序后的頂點數組；

步驟五，對頂點數組進行裝飾，捕捉各頂點計算處理前后的狀態信息；

步驟六，將頂點數組進一步轉換為單鏈表，通過鏈表分別進行計算邏輯的拼接，最終形成可動態執行的線性數據計算流；

步驟七，通過單鏈表的指針指向關系，拼接所有鏈表結點的算子為一個spark或是flink的可執行表達式；

步驟八，對步驟七的處理邏輯進行數據處理，處理期間的過程狀態及結果數據落到物理存儲以圖形化的方式回顯到步驟一界面。

2.根據權利要求1所述的基于DAG變換的大數據處理方法，其特征在于：所述步驟一中，結合實際的業務數據處理場景，構建一個具備多種數據處理節點庫的圖形化界面，拖拽定義節點及節點間的先后關聯關系，最終生成AOV網。

3.根據權利要求1所述的基于DAG變換的大數據處理方法，其特征在于：所述步驟一中，通過有向邊將節點的前后置依賴關系進行關聯，以各數據處理節點作為AOV網的活動頂點，通過數據處理節點間的有向邊作為活動頂點間前后關系的弧，組成AOV網。

4.根據權利要求1所述的基于DAG變換的大數據處理方法，其特征在于：所述步驟二中，邊集數組的圖存儲結構為一個標準的邊集數組，采用一個頂點數組和一個邊數組組成，其中，邊集數組的頂點數組記錄下來各頂點的數據處理需求，邊數組記錄下來每條邊頂點到頂點的關系。

5.根據權利要求1所述的基于DAG變換的大數據處理方法，其特征在于：所述步驟三中，通過圖形化的DAG數據處理場景做第一次的結構化變換，繼續將邊集數組的圖存儲結構轉換為標準的鄰接表結構。

6.根據權利要求1所述的基于DAG變換的大數據處理方法，其特征在于：所述步驟四中，拓撲排序處理過程為：

步驟1)初始化一個用于存放拓撲排序后頂點的數組；

步驟2)利用迭代算法，找出第一個入度為零的頂點，構成源點，放入拓撲數組中；

步驟3)從鄰接表結構中，刪除步驟2)中找到的源點及其相關聯的所有弧；

步驟4)繼續重復以上的步驟2)、步驟3)，直到將原鄰接表頂點數組中的所有頂點按新順序放入到步驟1)中創建的數組中。

7.根據權利要求1所述的基于DAG變換的大數據處理方法，其特征在于：所述步驟五中，通過裝飾器設計模式，對各數據處理頂點進行裝飾，引入頂點計算處理前后的各項信息捕捉，各項信息包括處理前后的實際數據以及該頂點處理的數據總量、異常量、異常信息，各項信息捕捉在數據流實際執行期間落地到物理存儲。

8.根據權利要求1所述的基于DAG變換的大數據處理方法，其特征在于：所述步驟六中，將頂點數組轉換為單鏈表，通過鏈表間的指針指向關聯各結點的先后關系，同時抽象出各結點數據計算的函數，最終形成線性數據計算流。

9.根據權利要求1所述的基于DAG變換的大數據處理方法，其特征在于：所述步驟七中，通過單鏈表的表頭作為啟動結點，其數據計算函數是整個單鏈表的執行入口，觸發后將所有結點中的算子邏輯，通過單鏈表的指針指向關系，最終拼接為一個spark或是flink的DAG執行表達式，作為提交到大數據計算平臺的最終變換形式。

10.根據權利要求1所述的基于DAG變換的大數據處理方法，其特征在于：所述處理邏輯被包裝在一個spark或是flink作業中，提交到大數據計算平臺中進行處理。