[發明專利]數據血緣分析方法、裝置、設備、系統及可讀存儲介質

有效

• 申請號: 201811492829.2
• 申請日: 2018-12-06
• 公開（公告）號: CN109582660B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 周可;邸帥;汪亞男;蘭沖
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/242
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國;魏蘭

1.一種數據血緣分析方法，其特征在于，所述數據血緣分析方法包括以下步驟：

當數據系統執行結構化查詢語言SQL語句時，通過鉤子Hook獲取與所述SQL語句對應的血緣數據并傳輸至流式分析系統；

通過流式分析系統確定所述血緣數據所在數據表的數據表類型，根據所述數據表類型和所述血緣數據，構建所述血緣數據對應的有向圖；

將所述有向圖存儲至HBase中，并將所述血緣數據存儲至分布式文件系統HDFS中；

當通過聯機事務處理OLTP接口接收到血緣數據的查詢指令后，通過圖數據引擎的服務端解析所述查詢指令對應的圖數據庫查詢語句，獲取所述圖數據庫查詢語句對應的數據表名稱；

根據所述數據表名稱在所述HBase中獲取與所述數據表名稱對應的目標節點，在所述HBase中提取與所述目標節點對應的目標有向圖，并將所述目標有向圖返回給所述查詢指令對應用戶。

2.如權利要求1所述的數據血緣分析方法，其特征在于，所述當數據系統執行SQL語句時，通過Hook獲取與所述SQL語句對應的血緣數據的步驟包括：

當數據系統執行SQL語句時，確定執行所述SQL語句的執行對象；

若所述執行對象為Hive或者Spark-SQL，則調用所述執行對象的執行行為分析對應的應用程序編程接口API，以得到對應所述SQL語句的輸入數據、輸出數據和關聯信息；

若所述執行對象為Sqoop，則獲取所述Sqoop的執行命令對應的執行參數，根據所述執行參數得到所述SQL語句的輸入數據、輸出數據和關聯信息。

3.如權利要求1所述的數據血緣分析方法，其特征在于，所述通過流式分析系統確定所述血緣數據所在數據表的數據表類型，根據所述數據表類型和所述血緣數據，構建所述血緣數據對應的有向圖的步驟包括：

通過所述流式分析系統確定所述SQL語句對應血緣數據中的輸入數據所在的數據表為源表，輸出數據所在的數據表為目標表；

將所述源表對應的表名稱作為起始節點，所述目標表的表名稱作為終止節點，并根據所述血緣數據中的關聯信息確定所述起始節點和所述終止節點之間的第一描述信息；

根據所述起始節點、終止節點和所述第一描述信息構建所述血緣數據對應的數據表之間的有向圖。

4.如權利要求3所述的數據血緣分析方法，其特征在于，所述將所述源表對應的表名稱作為起始節點，所述目標表的表名稱作為終止節點，并根據所述血緣數據中的關聯信息確定所述起始節點和所述終止節點之間的第一描述信息的步驟之后，還包括：

通過所述血緣數據中的關聯信息獲取與所述輸入數據對應工作任務的任務名稱；

將所述任務名稱確定為工作任務節點，并確定所述工作任務節點分別與所述起始節點和所述終止節點之間的第二描述信息；

根據所述起始節點、終止節點、工作任務節點、第一描述信息和所述第二描述信息構建所述血緣數據對應數據表與工作任務之間的有向圖。

5.如權利要求1所述的數據血緣分析方法，其特征在于，所述將所述有向圖存儲至HBase中，并將所述血緣數據存儲至分布式文件系統HDFS中的步驟之后，還包括：

當通過聯機分析處理OLAP接口接收到血緣數據的查詢指令后，獲取所述查詢指令對應的數據表名稱；

通過Spark GraphX框架在所述HDFS中讀取與所述數據表名稱對應的數據。

6.如權利要求1所述的數據血緣分析方法，其特征在于，所述數據血緣分析方法還包括：

當通過執行器接收到定時調度系統發送的血緣數據獲取請求后，通過所述執行器獲取所述血緣數據；

確定所述執行器獲取的所述血緣數據所在數據表的數據表類型，根據所述數據表類型和所述血緣數據的關聯信息，將所述血緣數據按照默認格式存儲在Hive表中，其中，在所述Hive表中，一條SQL語句對應一條記錄。