[發明專利]基于數據血緣分析的數據追蹤方法、系統及存儲介質

有效

• 申請號: 202110082234.5
• 申請日: 2021-01-21
• 公開（公告）號: CN112818015B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 李保平;楊建榮;龍磊
• 申請（專利權）人: 廣州匯通國信科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/22;G06F16/248
• 代理公司: 廣州專理知識產權代理事務所(普通合伙) 44493
• 代理人: 王允輝

1.基于數據血緣分析的數據追蹤方法，其特征在于，包括以下：

根據數據開發任務的類型進行血緣關系表的構建，所述數據開發任務的類型具體通過是否為SQL類的數據進行劃分；

獲取用戶的查詢請求；

根據用戶的查詢請求，將血緣關系表中的關聯數據予以展示；

所述根據數據開發任務的類型進行血緣關系表的構建具體包括以下，

當判斷為非SQL類的數據開發任務時，掃描運行環境中的同步任務配置信息，根據所述同步任務配置信息中的任務的輸入以及輸出確定當前任務中相關數據表的血緣關系，并將血緣關系寫入血緣關系數據表中以更新血緣關系數據表；

當判斷為SQL類的數據開發任務時，將當前任務執行的命令打包寫入消息隊列，從消息隊列中獲取數據，利用SQL的AST語法確定當前任務中的相關數據表的讀、寫屬性并進行標記，通過SQL中的數據源信息確定是否已經存在有關相關數據表已建立的存儲對象，如果已經存在，則根據SQL語法中的單語句讀寫關系，確定數據血緣流向，如果不存在，則為相關數據表建立對應的存儲對象，再根據SQL語法中的單語句讀寫關系，確定數據血緣流向，最終根據確定的血緣數據流向更新血緣關系數據表；

最終根據以上兩種數據開發任務的類型所更新的血緣關系數據表，完成血緣關系表的構建。

2.根據權利要求1所述的基于數據血緣分析的數據追蹤方法，其特征在于，上述根據用戶的查詢請求，將血緣關系表中的關聯數據予以展示具體包括以下，

根據用戶的查詢請求，獲取血緣關系表中的關聯數據，并對所述關聯數據進行數據清洗得到清洗后的數據；

對清洗后的數據進行詞法分析，生成抽象語法樹，遍歷抽象語法樹對數據中的語句進行句法解析；

對句法解析后的抽象語法樹，根據血緣關系分析結果繪制基于語句的數據血緣關系圖，最終進行可視化展示。

3.根據權利要求2所述的基于數據血緣分析的數據追蹤方法，其特征在于，

上述數據清洗過程具體包括，獲取含有SQL代碼的腳本文件，并尋找SQL代碼的標志位，利用標志位過濾腳本文件中的無關內容，保留得到規則化的SQL代碼語句；

上述詞法分析過程具體包括，對規則化的SQL語句進行詞法分析，根據語法規則對規則化的SQL語句進行關鍵詞劃分，并對每個關鍵詞進行標簽標識，并將每個標識后的SQL語句作為一個節點，生成為一棵抽象語法樹，遍歷抽象語法樹，為每個標簽對應的SQL語句賦予句法意義，實現對SQL語句的句法解析；

上述遍歷抽象語法樹對數據中的語句進行句法解析具體包括，處理抽象語法樹中標識出的節點數據，將源數據表和源數據字段作為節點數據的輸入集合，將目標數據表和目標數據字段作為節點數據的輸出集合，對節點數據的來源和去向分別進行映射，得到血緣關系分析結果；

上述可視化展示具體包括，繪制數據血緣關系圖中數據表和字段節點，并根據血緣關系分析結果，關聯數據血緣關系圖中的節點并繪制箭頭指向連線，將繪制好的數據血緣關系圖發送至用戶終端進行可視化顯示。