[發明專利]數據血緣關系生成方法、裝置、存儲介質和計算機設備

在審

• 申請號: 202110594991.0
• 申請日: 2021-05-28
• 公開（公告）號: CN113204594A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 熊漢
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28;G06F16/2455;G06F16/22;G06F16/215
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;曹勇

本申請涉及數據分析技術領域，揭示了一種數據血緣關系生成方法、裝置、存儲介質和計算機設備，其中方法包括：從所有數據源中獲取數據，確定數據的數據源類型；根據所述數據源類型將所有數據源的數據分別分配至所述輸入數據源列表及輸出數據源列表，并確定所述數據之間的節點關系保存至所述數據關系列表；將輸入數據源列表及輸出數據源列表進行合并，并去除重復節點后，得到目標數據表；當目標數據表不存在中間節點關系的節點時，根據所有數據和節點關系生成數據血緣關系。本申請減少了重復節點及中間節點的處理及干擾，提高了數據血緣關系的生成效率。

技術領域

本申請涉及到數據分析技術領域，特別是涉及到一種數據血緣關系生成方法、裝置、存儲介質和計算機設備。

背景技術

隨著大數據技術的發展與應用，在大數據治理領域出現了數據血緣分析的需求，通過對數據庫進行操作的結構化查詢語句的分析與處理，可以梳理出數據之間的映射關系，形成數據地圖，以便在海量的數據中追蹤數據的流向，查看大數據系統中上游數據的來源與下游數據的去向，方便大數據開發人員以及業務分析人員掌握數據的來源和流向，從而更好地管理大數據系統，挖掘出數據血緣關系的價值。

但是，現有的數據血緣關系生成方法通過手動連接的方式將一個一個數據按照來源進行連接，以生成數據血緣關系，這導致數據血緣關系生成的效率較低。

發明內容

本申請的主要目的為提供一種數據血緣關系生成方法、裝置、存儲介質和計算機設備，以提高數據血緣關系的生成效率。

為了實現上述發明目的，本申請提出一種數據血緣關系生成方法，包括：

構建輸入數據源列表、輸出數據源列表及數據關系列表；

從所有數據源中獲取數據，并確定所述所有數據源的數據的數據源類型；

根據所述數據源類型將所有數據源的數據分別分配至所述輸入數據源列表及輸出數據源列表，并確定所述數據之間的節點關系保存至所述數據關系列表；

將所述輸入數據源列表及輸出數據源列表進行合并，得到數據表；

去除所述數據表的重復節點，得到目標數據表；

循環掃描所述目標數據表，并根據所述數據關系列表判斷所述目標數據表是否存在中間節點關系的節點；

當確定所述目標數據表不存在中間節點關系的節點時，獲取所述目標數據表的所有數據，并獲取所述數據關系列表的所有數據的節點關系，根據所有數據和節點關系生成數據血緣關系。

優選地，所述根據所述數據關系列表判斷所述目標數據表是否存在中間節點關系的節點的步驟之后，還包括：

當確定所述目標數據表存在中間節點關系的節點時，獲取所述中間節點關系的第一中間節點及第二中間節點；其中，所述第一中間節點及第二中間節點為與存在中間節點關系的所述節點直接連接的兩個節點；

判斷所述第一中間節點是否為所述第二中間節點的起始節點；

若是，根據所述數據關系列表查詢所述第一中間節點的上一起始節點，構建上一起始節點與所述第二中間節點的節點關系；

若否，根據所述數據關系列表查詢所述第二中間節點的下一結束節點，構建下一結束節點與所述第一中間節點的節點關系。

優選地，所述數據源類型包括輸入數據源、中間數據源、輸出數據源；所述根據所述數據源類型將所有數據源的數據分別分配至所述輸入數據源列表及輸出數據源列表，并確定所述數據之間的節點關系保存至所述數據關系列表的步驟，包括：

從所有數據源的數據中篩選出數據源類型為輸入數據源的數據，得到輸入數據，將所述輸入數據保存至所述輸入數據源列表，并確定所述輸入數據的輸入節點和中間節點的輸入節點關系保存至所述數據關系列表；