[發明專利]一種ETL數據血統查詢系統及查詢方法

在審

• 申請號: 201510272289.7
• 申請日: 2015-05-25
• 公開（公告）號: CN104915390A
• 公開（公告）日: 2015-09-16
• 發明（設計）人: 許飛月;李青海;簡宋全;侯大勇;鄒立斌
• 申請（專利權）人: 廣州精點計算機科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京隆源天恒知識產權代理事務所(普通合伙) 11473
• 代理人: 閆冬

1.一種ETL數據血統查詢系統，其特征在于，包括一運行模塊與一數據血統管理模塊，

所述運行模塊能夠運行任務腳本、并且能夠劃分任務形成帶有操作信息的任務腳本文件，并將所述帶有操作信息的任務劃分文件傳送至所述數據血統管理模塊；

所述數據血統管理模塊能夠接受用戶配置文件，收集源數據文件、帶有操作信息的任務腳本文件，對數據血統信息進行存儲。

2.如權利要求1所述的ETL數據血統查詢系統，其特征在于，所述運行模塊包括：

一操作劃分單元，用于對任務腳本進行劃分、形成帶有操作信息的任務腳本文件；

一腳本運行單元：獲取源數據與運行帶有操作信息的任務劃分文件，運行任務；

3.如權利要求1所述的ETL數據血統查詢系統，其特征在于，所述數據血統管理模塊包括：

一數據血統獲取單元，能夠發送和接受用戶配置文件、獲取操作信息的任務腳本文件，將數據血統寫入數據血統表與數據血統附屬表；

一數據血統存儲單元，用于存儲所述數據血統表與數據血統附屬表。

4.如權利要求3所述的ETL數據血統查詢系統，其特征在于，所述數據血統獲取單元包括：

一操作信息獲取子單元，用于獲取用戶配置文件、帶有操作信息的任務腳本文件與任務源文件；

一字段信息獲取子單元，用于獲取一次操作的字段信息；

一控制子單元，用于根據所述操作信息獲取子單元與所述字段信息獲取子單元獲取的數據進行判斷，確定對應操作對每個字段的行為結果。

5.如權利要求4所述的ETL數據血統查詢系統，其特征在于，所述控制子單元能夠對當前運行任務進行監控。

6.如權利要求4所述的ETL數據血統查詢系統，其特征在于，所述行為結果包括：增行，減行，添加，刪除，更新，修改元數據，查詢。

7.一種應用權利要求1至6中任一項所述系統的ETL數據血統查詢方法，其特征在于，包括步驟：

S1：用戶填寫配置文件，所述配置文件由數據血統獲取單元獲??；

S2：操作劃分單元獲取ETL任務腳本并對其處理，生成帶有操作信息的任務腳本文件；

S3：所述腳本運行單元獲取帶有操作信息的任務腳本文件進行處理，生成腳本運行文件；

S4：數據血統獲取單元獲取腳本運行文件、源數據文件進行分析，獲取數據血統；

S5：所述數據血統獲取單元將數據血統寫入數據血統表與數據血統附屬表；

S6：所述數據血統獲取單元將數據血統表與數據血統附屬表存入數據血統存儲單元。

8.如權利要求7所述的ETL數據血統查詢方法，其特征在于，所述步驟S4具體為：

操作信息獲取子單元根據配置文件獲取一些列的操作的操作號與SQL語言，字段信息獲取子單元獲取一次操作所得到的字段。