[發明專利]多級數據流轉任務的執行方法及裝置、電子設備、存儲介質

有效

• 申請號: 202010045975.1
• 申請日: 2020-01-15
• 公開（公告）號: CN111274316B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 王俊威;王獻周
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/178
• 代理公司: 北京超成律師事務所 11646
• 代理人: 劉靜

本申請提供一種多級數據流轉任務的執行方法及裝置、電子設備、存儲介質，該方法包括：根據預設的配置信息生成任務節點樹；其中，所述任務節點樹包括多個數據集節點，所述任務節點樹中每一父節點與其子節點之間存在數據流轉任務；依據所述任務節點樹，逐級執行每一父節點與其相對應的子節點之間的所述數據流轉任務。本申請上述實施例提供的技術方案，依據該任務節點樹逐級處理數據流轉任務，避免了多余的等待時間，從而有效地提高了多級數據流轉任務地處理效率。

技術領域

本申請涉及計算機技術領域，特別涉及一種多級數據流轉任務的執行方法及裝置、電子設備、計算機可讀存儲介質。

背景技術

在涉及數據的業務中，存在數據集之間相互同步數據的需求。將源數據集中的待同步數據存儲至目標數據集的過程稱為數據流轉。在實際業務環境中，一個數據流轉過程中的目標數據集也可能是其它數據集的源數據集，在這種情況下，各級源數據集和目標數據集之間的多次數據流轉構成了一次多級數據流轉。

一般，在處理多級數據流轉時，會配置多個數據流轉任務。通過周期性檢查上游的數據流轉任務，以在上游的數據流轉任務完成后繼續處理下游的數據流轉任務。該措施不可避免多余的等待時間，若多級數據流轉任務的層級較多，則會疊加產生非常多的等待時間，這會降低多級數據流轉任務的處理效率。

發明內容

本申請實施例的目的在于提供一種多級數據流轉任務的執行方法及裝置，電子設備、計算機可讀存儲介質，用以提高多級數據流轉任務的處理效率。

本申請實施例提供了一種多級數據流轉任務的執行方法，所述方法包括：

根據預設的配置信息生成任務節點樹；其中，所述任務節點樹包括多個數據集節點，所述任務節點樹中每一父節點與其對應的子節點之間存在數據流轉任務；

依據所述任務節點樹，逐級執行每一父節點與其相對應的子節點之間的所述數據流轉任務。

在一實施例中，所述依據所述任務節點樹，逐級執行每一父節點與其相對應的子節點之間的數據流轉任務，包括：

將所述任務節點樹中的根節點加入預設的源數據集列表；其中，加入所述源數據集列表的數據集節點為源數據集節點；

查找所述源數據集列表中的源數據集節點的待同步數據，并緩存所述待同步數據；

判斷所述源數據集列表是否為空，如果所述源數據集列表不為空，在所述任務節點樹中確定所述源數據集列表中源數據集節點的子節點，并將已緩存的所述待同步數據存儲至所述子節點；

刪除所述源數據集列表中的源數據集節點，并判斷所述子節點是否為所述任務節點樹的葉子節點；

若任一子節點不是葉子節點，將所述子節點加入所述源數據集列表，并返回判斷所述源數據集列表是否為空的步驟，直至所述源數據集列表為空。

在一實施例中，所述方法還包括：

若所有子節點均為葉子節點，結束任務。

在一實施例中，所述方法還包括：

監控所述任務節點樹的根節點，若所述根節點上產生增量的待同步數據，依據所述任務節點樹，逐級執行每一父節點與其相對應的子節點之間的數據流轉任務。

在一實施例中，在執行每一父節點與其相對應的子節點之間的數據流轉任務時，所述方法還包括：

基于子節點所需數據的要求，對所述待同步數據進行過濾和標準化處理。

本申請實施例還提供了一種多級數據流轉任務的執行裝置，所述裝置包括：

生成模塊，用于根據預設的配置信息生成任務節點樹；其中，所述任務節點樹包括多個數據集節點，所述任務節點樹中每一父節點與其對應的子節點之間存在數據流轉任務；