[發明專利]一種基于廣度優先搜索算法的ETL作業流程分析方法

在審

• 申請號: 201710566339.1
• 申請日: 2017-07-12
• 公開（公告）號: CN107315834A
• 公開（公告）日: 2017-11-03
• 發明（設計）人: 陳濤;黃卓凡;張志聰;李筍;林志廣
• 申請（專利權）人: 廣東奡風科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 東莞市神州眾達專利商標事務所(普通合伙)44251
• 代理人: 皮發泉

1.一種基于廣度優先搜索算法的ETL作業流程分析方法，其特征在于：依據各作業之間的先后加工邏輯關系，構造一個有向無環圖，該有向無環圖由一組節點和一組有方向的邊構成，每個節點代表一個ETL作業或者是一個作業中的一步，每一條邊代表從一個節點到另一個節點的數據流，使用廣度優先搜索算法遍歷整個ETL作業工作流定義的有向無環圖，根據ETL作業節點的依賴關系，對每個ETL作業節點進行拓撲排序，并對ETL作業節點進行分層，然后根據具體的運行環境來決定同一層中的ETL作業節點是并行執行還是根據拓撲排序的結果串行執行。

2.根據權利要求1所述的基于廣度優先搜索算法的ETL作業流程分析方法，其特征在于：基于廣度優先搜索算法的分析方法分成三個步驟:

（1）分析計算；

（2）分層；

（3）分層執行。

3.根據權利要求2所述的基于廣度優先搜索算法的ETL作業流程分析方法，其特征在于：步驟（1）中的分析計算是將根節點的層設置成1，從根節點出發，每經過一個節點層數加1，遍歷所有路徑，保留每個節點的最大層數。

4.根據權利要求3所述的基于廣度優先搜索算法的ETL作業流程分析方法，其特征在于：步驟（2）中的分層是根據各節點的最大層數，將層數相同的節點劃到同一層。

5.根據權利要求4所述的基于廣度優先搜索算法的ETL作業流程分析方法，其特征在于：步驟（3）中的分層執行是指：根據分層，ETL作業流程引擎按照由低層到高層的執行路徑依次運行各層的ETL作業節點，并根據具體的運行環境來決定同一層級的ETL作業節點是并行還是根據拓撲排序的結果串行執行。

6.根據權利要求1所述的基于廣度優先搜索算法的ETL作業流程分析方法，其特征在于：廣度優先搜索算法是從根節點開始，沿著樹的寬度遍歷樹的節點,如果所有節點均被訪問，則算法中止; 使用一個隊列來存放未被訪問的節點，先將根節點放入隊列，后從隊列中取出第一個節點一并將該節點一移出對列，再將與該節點相鄰的所有未被訪問的直接子節點加入隊列，然后從隊列中取出第一個節點二并將該節點二移出隊列，重復以上步驟，直至隊列為空為止。