[發(fā)明專利]數(shù)據(jù)血緣分析方法、裝置、設(shè)備、系統(tǒng)及可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811492829.2
• 申請日: 2018-12-06
• 公開（公告）號: CN109582660B
• 公開（公告）日: 2021-08-10
• 發(fā)明（設(shè)計）人: 周可;邸帥;汪亞男;蘭沖
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/242
• 代理公司: 深圳市世紀恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國;魏蘭

本發(fā)明公開了一種數(shù)據(jù)血緣分析方法、裝置、設(shè)備、系統(tǒng)及可讀存儲介質(zhì)，該方法包括步驟：當數(shù)據(jù)系統(tǒng)執(zhí)行SQL語句時，通過Hook獲取與SQL語句對應(yīng)的血緣數(shù)據(jù)；通過流式分析系統(tǒng)確定血緣數(shù)據(jù)所在數(shù)據(jù)表的數(shù)據(jù)表類型，根據(jù)數(shù)據(jù)表類型和血緣數(shù)據(jù)，構(gòu)建血緣數(shù)據(jù)對應(yīng)的有向圖；將有向圖存儲至HBase中，并將血緣數(shù)據(jù)存儲至HDFS中。本發(fā)明實現(xiàn)了通過Hook獲取不同類型數(shù)據(jù)系統(tǒng)的血緣數(shù)據(jù)，使數(shù)據(jù)血緣分析方法適配不用類型的數(shù)據(jù)系統(tǒng)，且通過分析血緣數(shù)據(jù)所在數(shù)據(jù)表的數(shù)據(jù)表類型和關(guān)聯(lián)信息，得到血緣關(guān)系對應(yīng)的有向圖，避免使用SQL腳本解析來得到數(shù)據(jù)的血緣關(guān)系，降低了分析數(shù)據(jù)血緣關(guān)系的復(fù)雜度，提高了數(shù)據(jù)血緣分析方法的擴展性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)血緣分析方法、裝置、設(shè)備、系統(tǒng)及可讀存儲介質(zhì)。

背景技術(shù)

數(shù)據(jù)血緣分析是元數(shù)據(jù)管理和數(shù)據(jù)治理工具的核心功能，通過建立數(shù)據(jù)之間的血緣關(guān)系，可以分析上游數(shù)據(jù)發(fā)生變化是否影響下游關(guān)聯(lián)的數(shù)據(jù)；如果在元數(shù)據(jù)上建立技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的關(guān)系，通過血緣可以分析不同業(yè)務(wù)產(chǎn)品之間的數(shù)據(jù)流動，分析不同產(chǎn)品之間的業(yè)務(wù)關(guān)聯(lián)；通過分析數(shù)據(jù)血緣可以更好的理解數(shù)據(jù)和使用數(shù)據(jù)。目前石竹的MetaOne已經(jīng)支持數(shù)據(jù)血緣分析，MetaOne通過對SQL(Structured Query Language，結(jié)構(gòu)化查詢語言)腳本進行解析構(gòu)建數(shù)據(jù)的血緣鏈路，根據(jù)通用的SQL語法標準將SQL操作分解成特定的幾種操作類型，然后將SQL語句模塊分解，從而得到一條SQL的輸入數(shù)據(jù)和輸出數(shù)據(jù)，這樣輸入數(shù)據(jù)和輸出就建立了直接的血緣關(guān)系。

由于MetaOn只能適配通用的SQL語法標準，導(dǎo)致MetaOn不能適配不同類型數(shù)據(jù)系統(tǒng)之間數(shù)據(jù)的血緣分析，如開源的數(shù)據(jù)倉庫工具Hive和SQL引擎Spark-SQL的語句有各自的語法特性，因此MetaOn不能分析出Hive和SQL引擎Spark-SQL對應(yīng)數(shù)據(jù)的血緣關(guān)系；且使用SQL腳本解析來得到數(shù)據(jù)的血緣關(guān)系，需要設(shè)計較復(fù)雜的解析規(guī)則，擴展性不夠友好。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種數(shù)據(jù)血緣分析方法、裝置、設(shè)備、系統(tǒng)及可讀存儲介質(zhì)，旨在解決現(xiàn)有的數(shù)據(jù)血緣分析方法不能適配不同類型數(shù)據(jù)系統(tǒng)，且擴展性不友好的技術(shù)問題。

為實現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)血緣分析方法，所述數(shù)據(jù)血緣分析方法包括步驟：

當數(shù)據(jù)系統(tǒng)執(zhí)行結(jié)構(gòu)化查詢語言SQL語句時，通過鉤子Hook獲取與所述SQL語句對應(yīng)的血緣數(shù)據(jù)并傳輸至流式分析系統(tǒng)；

通過流式分析系統(tǒng)確定所述血緣數(shù)據(jù)所在數(shù)據(jù)表的數(shù)據(jù)表類型，根據(jù)所述數(shù)據(jù)表類型和所述血緣數(shù)據(jù)，構(gòu)建所述血緣數(shù)據(jù)對應(yīng)的有向圖；

將所述有向圖存儲至HBase中，并將所述血緣數(shù)據(jù)存儲至分布式文件系統(tǒng)HDFS中。

此外，為實現(xiàn)上述目的，本發(fā)明還提供一種數(shù)據(jù)血緣分析方法，所述數(shù)據(jù)血緣分析方法應(yīng)用于數(shù)據(jù)系統(tǒng)，所述數(shù)據(jù)血緣分析方法包括以下步驟：

數(shù)據(jù)系統(tǒng)執(zhí)行結(jié)構(gòu)化查詢語言SQL語句，并通過鉤子Hook獲取與所述SQL語句對應(yīng)的血緣數(shù)據(jù)；

將所述血緣數(shù)據(jù)發(fā)送給流式分析系統(tǒng)，以供所述流式分析系統(tǒng)確定所述血緣數(shù)據(jù)所在數(shù)據(jù)表的數(shù)據(jù)表類型，根據(jù)所述數(shù)據(jù)表類型和所述血緣數(shù)據(jù)，構(gòu)建所述血緣數(shù)據(jù)對應(yīng)的有向圖，將所述有向圖存儲至HBase中，并將所述血緣數(shù)據(jù)存儲至分布式文件系統(tǒng)HDFS中。

此外，為實現(xiàn)上述目的，本發(fā)明還提供一種數(shù)據(jù)血緣分析方法，所述數(shù)據(jù)血緣分析方法應(yīng)用于流式分析系統(tǒng)，所述數(shù)據(jù)血緣分析方法包括以下步驟：

當流式分析系統(tǒng)接收到數(shù)據(jù)系統(tǒng)通過鉤子Hook發(fā)送的與所述結(jié)構(gòu)化查詢語言SQL語句對應(yīng)的血緣數(shù)據(jù)后，確定所述血緣數(shù)據(jù)所在數(shù)據(jù)表的數(shù)據(jù)表類型，根據(jù)所述數(shù)據(jù)表類型和所述血緣數(shù)據(jù)，構(gòu)建所述血緣數(shù)據(jù)對應(yīng)的有向圖；

將所述有向圖存儲至HBase中，并將所述血緣數(shù)據(jù)存儲至分布式文件系統(tǒng)HDFS中。