[發(fā)明專利]基于數(shù)據(jù)血緣分析的數(shù)據(jù)追蹤方法、系統(tǒng)及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110082234.5
• 申請(qǐng)日: 2021-01-21
• 公開（公告）號(hào): CN112818015B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 李保平;楊建榮;龍磊
• 申請(qǐng)（專利權(quán)）人: 廣州匯通國(guó)信科技有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455;G06F16/22;G06F16/248
• 代理公司: 廣州專理知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44493
• 代理人: 王允輝

本發(fā)明涉及基于數(shù)據(jù)血緣分析的數(shù)據(jù)追蹤方法，包括以下：根據(jù)數(shù)據(jù)開發(fā)任務(wù)的類型進(jìn)行血緣關(guān)系表的構(gòu)建，所述數(shù)據(jù)開發(fā)任務(wù)的類型具體通過是否為SQL類的數(shù)據(jù)進(jìn)行劃分；獲取用戶的查詢請(qǐng)求；根據(jù)用戶的查詢請(qǐng)求，將血緣關(guān)系表中的關(guān)聯(lián)數(shù)據(jù)予以展示。本發(fā)明能夠?qū)QL類以及其他類的數(shù)據(jù)進(jìn)行血緣關(guān)系的建立，是實(shí)現(xiàn)數(shù)據(jù)融合（聚合）的一個(gè)手段，并且通過血緣分析能夠?qū)崿F(xiàn)數(shù)據(jù)融合處理的可追溯。能夠滿足企事業(yè)單位的數(shù)據(jù)治理需求。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)治理領(lǐng)域，尤其涉及基于數(shù)據(jù)血緣分析的數(shù)據(jù)追蹤方法、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)

在人類社會(huì)中，血緣關(guān)系是指由婚姻或生育而產(chǎn)生的人際關(guān)系，是最早形成的一種社會(huì)關(guān)系。今天，人類進(jìn)入了大數(shù)據(jù)時(shí)代。每天，世界上都有海量的，各種類型的，關(guān)系復(fù)雜的數(shù)據(jù)在快速產(chǎn)生。這些龐大復(fù)雜的數(shù)據(jù)匯聚又產(chǎn)生新的數(shù)據(jù)。數(shù)據(jù)在產(chǎn)生、融合、流轉(zhuǎn)，消亡過程中形成一種邏輯關(guān)系。我們借鑒人類社會(huì)中的血緣關(guān)系來(lái)表達(dá)數(shù)據(jù)之間的這種關(guān)系，稱之為數(shù)據(jù)的血緣關(guān)系。

數(shù)據(jù)治理里經(jīng)常提到的一個(gè)詞就是血緣分析，血緣分析是保證數(shù)據(jù)融合（聚合）的一個(gè)手段，通過血緣分析能夠?qū)崿F(xiàn)數(shù)據(jù)融合處理的可追溯。當(dāng)今缺少一種較為系統(tǒng)有效的數(shù)據(jù)血緣分析方法，無(wú)法滿足企事業(yè)單位的數(shù)據(jù)治理需求。

發(fā)明內(nèi)容

本發(fā)明的目的是為了至少解決現(xiàn)有技術(shù)的不足之一，提供基于數(shù)據(jù)血緣分析的數(shù)據(jù)追蹤方法、系統(tǒng)及存儲(chǔ)介質(zhì)。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下的技術(shù)方案：

具體的，提出基于數(shù)據(jù)血緣分析的數(shù)據(jù)追蹤方法，包括以下：

根據(jù)數(shù)據(jù)開發(fā)任務(wù)的類型進(jìn)行血緣關(guān)系表的構(gòu)建，所述數(shù)據(jù)開發(fā)任務(wù)的類型具體通過是否為SQL類的數(shù)據(jù)進(jìn)行劃分；

獲取用戶的查詢請(qǐng)求；

根據(jù)用戶的查詢請(qǐng)求，將血緣關(guān)系表中的關(guān)聯(lián)數(shù)據(jù)予以展示。

進(jìn)一步，所述根據(jù)數(shù)據(jù)開發(fā)任務(wù)的類型進(jìn)行血緣關(guān)系表的構(gòu)建具體包括以下，

當(dāng)判斷為非SQL類的數(shù)據(jù)開發(fā)任務(wù)時(shí)，掃描運(yùn)行環(huán)境中的同步任務(wù)配置信息，根據(jù)所述同步任務(wù)配置信息中的任務(wù)的輸入以及輸出確定當(dāng)前任務(wù)中相關(guān)數(shù)據(jù)表的血緣關(guān)系，并將血緣關(guān)系寫入血緣關(guān)系數(shù)據(jù)表中以更新血緣關(guān)系數(shù)據(jù)表；

當(dāng)判斷為SQL類的數(shù)據(jù)開發(fā)任務(wù)時(shí)，將當(dāng)前任務(wù)執(zhí)行的命令打包寫入消息隊(duì)列，從消息隊(duì)列中獲取數(shù)據(jù)，利用SQL的AST語(yǔ)法確定當(dāng)前任務(wù)中的相關(guān)數(shù)據(jù)表的讀、寫屬性并進(jìn)行標(biāo)記，通過SQL中的數(shù)據(jù)源信息確定是否已經(jīng)存在有關(guān)相關(guān)數(shù)據(jù)表已建立的存儲(chǔ)對(duì)象，如果已經(jīng)存在，則根據(jù)SQL語(yǔ)法中的單語(yǔ)句讀寫關(guān)系，確定數(shù)據(jù)血緣流向，如果不存在，則為相關(guān)數(shù)據(jù)表建立對(duì)應(yīng)的存儲(chǔ)對(duì)象，再根據(jù)SQL語(yǔ)法中的單語(yǔ)句讀寫關(guān)系，確定數(shù)據(jù)血緣流向，最終根據(jù)確定的血緣數(shù)據(jù)流向更新血緣關(guān)系數(shù)據(jù)表；

最終根據(jù)以上兩種數(shù)據(jù)開發(fā)任務(wù)的類型所更新的血緣關(guān)系數(shù)據(jù)表，完成血緣關(guān)系表的構(gòu)件。

進(jìn)一步，上述根據(jù)用戶的查詢請(qǐng)求，將血緣關(guān)系表中的關(guān)聯(lián)數(shù)據(jù)予以展示具體包括以下，

根據(jù)用戶的查詢請(qǐng)求，獲取血緣關(guān)系表中的關(guān)聯(lián)數(shù)據(jù)，并對(duì)所述關(guān)聯(lián)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗得到清洗后的數(shù)據(jù)；

對(duì)清洗后的數(shù)據(jù)進(jìn)行詞法分析，生成抽象語(yǔ)法樹，遍歷抽象語(yǔ)法樹對(duì)數(shù)據(jù)中的語(yǔ)句進(jìn)行句法解析；

對(duì)句法解析后的抽象語(yǔ)法樹，根據(jù)血緣關(guān)系分析結(jié)果繪制基于語(yǔ)句的數(shù)據(jù)血緣關(guān)系圖，最終進(jìn)行可視化展示。

進(jìn)一步，上述數(shù)據(jù)清洗過程具體包括，獲取含有SQL代碼的腳本文件，并尋找SQL代碼的標(biāo)志位，利用標(biāo)志位過濾腳本文件中的無(wú)關(guān)內(nèi)容，保留得到規(guī)則化的SQL代碼語(yǔ)句；