[發明專利]基于映射關系構建任務DAG的方法及裝置

在審

• 申請號: 201911419978.0
• 申請日: 2019-12-31
• 公開（公告）號: CN111158800A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 堵新政;張毅然
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F9/448
• 分類號: G06F9/448
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 劉旺貴

本發明提供了一種基于映射關系構建任務DAG的方法及裝置，該方法包括：根據獲取的源表和目標表分別創建源實體和目標實體；建立源實體與目標實體的映射關系，所述映射關系包括表映射和字段映射；生成業務數據治理的各個階段的任務；通過各個階段的任務的依賴關系構建任務DAG結構。在本發明中，通過建立源實體與目標實體之間的映射關系，自動構建數據治理各個階段任務的DAG，并生成每個任務執行需要的信息，從而減少人工參與的工作量，提高DAG構建的效率。

技術領域

本發明涉及數據治理領域，具體而言，涉及一種基于映射關系構建任務DAG的方法及裝置。

背景技術

在數據治理過程中，通常會根據數據處理的不同階段，將任務拆解成若干個子任務，而這些子任務之間有順序的依賴關系，形成子任務的有向無環圖(DAG)結構。任務DAG的構建通常有兩種方式，一種是所使用的工具或者技術自動生成的DAG，如spark任務；一種是根據數據處理的的業務流程通過人工構建的DAG，如根據數據治理流程可構DAG采集-轉換-映射-融合。針對第二種場景，常用的方式是在工作流畫布上創建每一個子任務，配置每個子任務執行命令、參數等信息，然后建立任務間的依賴關系。這種方式對于任務數很多的情況，很顯然構建效率是很低的。

發明內容

本發明實施例提供了一種基于映射關系構建任務DAG的方法及裝置，以至少解決相關技術中數據治理流程中任務的DAG構建效率低的問題。

根據本發明的一個實施例，提供了一種基于映射關系構建任務DAG的方法，包括：根據獲取的源表和目標表分別創建源實體和目標實體；建立源實體與目標實體的映射關系，所述映射關系包括表映射和字段映射；生成業務數據治理的各個階段的任務；通過各個階段的任務的依賴關系構建任務DAG結構。

可選地，生成業務數據治理的各個階段的任務包括：對數據治理過程按照業務處理流程劃分每個階段，并定義每個階段任務執行的模板信息；根據定義的數據治理階段，生成源實體到目標實體各個階段的實體任務，并根據每個階段任務執行的模板信息，生成任務執行的實例信息。

可選地，通過各個階段的任務的依賴關系構建任務DAG結構包括：根據生成各階段任務時所生成的任務依賴關系構建所述任務的DAG結構。

可選地，所述任務依賴關系至少包括以下之一：所述任務與父任務的依賴關系、所述任務為根任務。

根據本發明的另一個實施例，提供了一種基于映射關系構建任務DAG的裝置，包括：獲取模塊，用于根據獲取的源表和目標表分別創建源實體和目標實體；映射模塊，用于建立源實體與目標實體的映射關系，所述映射關系包括表映射和字段映射；任務模塊，用于生成業務數據治理的各個階段的任務；構建模塊，用于通過各個階段的任務的依賴關系構建任務DAG結構。

可選地，所述任務模塊包括：劃分單元，用于對數據治理過程按照業務處理流程劃分每個階段，并定義每個階段任務執行的模板信息；生成單元，用于根據定義的數據治理階段，生成源實體到目標實體各個階段的實體任務，并根據每個階段任務執行的模板信息，生成任務執行的實例信息。

可選地，所述構建模塊包括：構建單元，用于根據生成各階段任務時所生成的任務依賴關系構建所述任務的DAG結構。

可選地，所述任務依賴關系至少包括以下之一：所述任務與父任務的依賴關系、所述任務為根任務

根據本發明的又一個實施例，還提供了一種存儲介質，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行上述任一項方法實施例中的步驟。

根據本發明的又一個實施例，還提供了一種電子裝置，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行上述任一項方法實施例中的步驟。