[發明專利]一種全生命周期數據地圖生成系統、方法

有效

• 申請號: 202011642227.8
• 申請日: 2020-12-31
• 公開（公告）號: CN112732987B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 郭德坡;孫偉;高體偉;蘇萌;趙群;左云鵬;姜楠;連海俊
• 申請（專利權）人: 北京百分點科技集團股份有限公司
• 主分類號: G06F16/904
• 分類號: G06F16/904;G06F16/901;G06F16/903
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 李瀟

1.一種全生命周期數據地圖生成系統，其特征在于，包括數據源管理模塊、任務配置管理模塊、調度任務管理模塊和數據地圖生成模塊，其中：

數據源管理模塊，用于保存來源于數據源的待進行血緣關系分析的第一數據；

任務配置管理模塊，用于配置多源異構數據接入任務、數據轉換任務、數據治理任務和多樣化數據處理腳本任務；

其中，所述多源異構數據接入任務，用于根據輸入的所述第一數據的標識，獲取來源于相應數據源的第一數據保存至所述數據源管理模塊，以及，確定所述第一數據和對應的存儲至目標源的第二數據之間的第一血緣關系；

所述數據轉換任務，用于將所述第一數據進行轉換，以得到轉換后的數據，以及，確定所述第一數據和所述轉換后的數據之間的第二血緣關系；

所述數據治理任務，用于對所述轉換后的數據進行稽核，以得到稽核后的數據作為所述第二數據存儲至目標源；

所述多樣化數據處理腳本任務，用于根據指定分析維度，確定所述第一數據和所述第二數據之間的第三血緣關系；

調度任務管理模塊，用于調度并執行目標任務；所述目標任務包括：多源異構數據接入任務、數據轉換任務、數據治理任務、多樣化數據處理腳本任務和數據源表多維統計任務，以獲得第一血緣關系、所述第二血緣關系、所述第三血緣關系和所述第一數據和所述第二數據在所述指定分析維度下的信息；所述數據源表多維統計任務，用于分析所述第一數據和所述第二數據在所述指定分析維度下的信息；

數據地圖生成模塊，用于根據執行所述目標任務獲得的第一血緣關系、所述第二血緣關系、所述第三血緣關系以及所述指定分析維度下的信息，生成數據地圖并展示；

其中，任務配置管理模塊，具體包括：數據血緣分析策略制定、數據稽核和腳本發布；

其中，數據血緣分析策略制定，包括下述步驟：多源異構數據接入任務配置、選擇源和目標、配置映射信息和設置數據血緣分析策略1；以及，數據轉換任務配置、選擇數據源庫表、配置轉換規則和設置數據血緣分析策略2；

多源異構數據接入任務配置，是指根據多源異構數據接入任務配置界面輸入的配置信息，生成多源異構數據接入任務，該任務的任務目標除了包括數據源獲取的數據存儲至目標源外，還包括：基于設置數據血緣分析策略1所設置的策略1，分析從數據源獲取的數據和存儲至目標源的數據之間的血緣關系；

數據轉換任務配置，是指為了確保數據的可用性，配置用于對待分析血緣關系的數據進行轉換的任務，該任務的任務目標包括：對來源于數據源的數據進行轉換，以及基于設置的數據血緣分析策略2，實現對轉換前的數據和轉換后的數據的血緣關系的確定；

設置數據血緣分析策略2，和設置數據血緣分析策略1不同；設置數據血緣分析策略1是針對多源異構數據接入任務所設置的數據血緣分析策略，相對簡單，只需要分析同源同庫數據血緣關系、同源異庫數據血緣關系、異源數據血緣關系，計算相應的庫內的表到表，字段到表，字段到字段的血緣關系、表到庫，表到表，字段到表，字段到字段的血緣關系以及字段到字段，字段到表，表到表，表到庫，數據源到數據源級別的血緣關系即可；而設置數據血緣分析策略2，則相對比較復雜，需要對應于采用的轉換規則，設置相應的血緣關系分析策略，以便準確確定轉換前的來源于數據源的數據和轉換后存儲至目標源的數據之間的血緣關系，對于不會對血緣關系產生影響的規則，則忽略，無需設置相應的數據血緣分析策略。

2.如權利要求1所述的系統，其特征在于，所述第一血緣關系，按照下述預先設置的數據血緣關系分析策略中的至少一種確定：

同源同庫數據血緣關系分析策略，用于對來源于同一類型數據源的同一類型數據庫的數據的血緣關系分析；

同源異庫數據血緣關系分析策略，用于對來源于不同數據源的不同類型數據庫的數據的血緣關系分析；

異源數據血緣關系分析策略，用于對來源于不同數據源的相同及不同類型數據庫的數據的血緣關系分析。

3.如權利要求1所述的系統，其特征在于，所述數據地圖生成模塊，還用于：

獲取默認設置的公有分析維度和用戶輸入的私有分析維度，作為所述指定分析維度。