[發明專利]一種ETL數據血統查詢系統及查詢方法

在審

• 申請號: 201510272289.7
• 申請日: 2015-05-25
• 公開（公告）號: CN104915390A
• 公開（公告）日: 2015-09-16
• 發明（設計）人: 許飛月;李青海;簡宋全;侯大勇;鄒立斌
• 申請（專利權）人: 廣州精點計算機科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京隆源天恒知識產權代理事務所(普通合伙) 11473
• 代理人: 閆冬

技術領域

本發明涉及數據管理領域，特別涉及一種ETL數據血統查詢系統及查詢方法。

技術背景

隨著企業業務范圍的擴大，企業需要對各個區域的不同業務的數據進行集成并分析。可以認為，商業智能是對商業信息的搜集、管理和分析過程，目的是使企業的各級決策者獲得知識或洞察力，促使他們做出對企業更有利的決策。商業智能一般由數據倉庫、聯機分析處理、數據挖掘、數據備份和恢復等部分組成。數據倉庫是為企業所有級別的決策制定過程提供支持的所有類型數據的戰略集合。它是單個數據存儲，出于分析性報告和決策支持的目的而創建。為企業提供需要業務智能來指導業務流程改進和監視時間、成本、質量和控制。ETL過程就是構建數據倉庫的重要過程。ETL是Extraction?Transformation?Loading的縮寫，中文名稱為數據抽取、轉換和加載。ETL負責將來自不同系統的，屬于同主題的且具有不同數據結構的數據抽取到中間層后進行數據格式的轉換和數據內容的清洗，最后加載到數據倉庫中，是構建數據倉庫非常重要的一環。目前ETL主要過程為轉換，我們需要對ETL過程進行監督。目前的ETL過程監督只能單獨監督某個中間過程的輸出字段和輸出預覽，不能有效給出整個ETL過程的數據修改情況。這將使得在ETL過程創建完成后非常不易于修改，因為一旦修改其中某個環節，該環節之后的環節都必須單獨檢查和修正，ETL過程不易于改進。

鑒于上述缺陷，本發明創作者經過長時間的研究和實踐終于獲得了本發明。

發明內容

為解決上述技術缺陷，本發明采用的技術方案在于，提供一種ETL數據血統查詢系統，其特征在于，包括一運行模塊與一數據血統管理模塊，

所述運行模塊能夠運行任務腳本、并且能夠劃分任務形成帶有操作信息的任務腳本文件，并將所述帶有操作信息的任務劃分文件傳送至所述數據血統管理模塊；

所述數據血統管理模塊能夠接受用戶配置文件，收集源數據文件、帶有操作信息的任務腳本文件，對數據血統信息進行存儲。

較佳的，所述運行模塊包括：

一操作劃分單元，用于對任務腳本進行劃分、形成帶有操作信息的任務腳本文件；

一腳本運行單元：獲取源數據與運行帶有操作信息的任務劃分文件，運行任務；

較佳的，所述數據血統管理模塊包括：

一數據血統獲取單元，能夠發送和接受用戶配置文件、獲取操作信息的任務腳本文件，將數據血統寫入數據血統表與數據血統附屬表；

一數據血統存儲單元，用于存儲所述數據血統表與數據血統附屬表。

較佳的，所述數據血統獲取單元包括：

一操作信息獲取子單元，用于獲取用戶配置文件、帶有操作信息的任務腳本文件與任務源文件；

一字段信息獲取子單元，用于獲取一次操作的字段信息；

一控制子單元，用于根據所述操作信息獲取子單元與所述字段信息獲取子單元獲取的數據進行判斷，確定對應操作對每個字段的行為結果。

較佳的，所述控制子單元能夠對當前運行任務進行監控。

較佳的，所述行為結果包括：增行，減行，添加，刪除，更新，修改元數據，查詢。

較佳的，包括步驟：

S1：用戶填寫配置文件，所述配置文件由數據血統獲取單元獲取；

S2：操作劃分單元獲取ETL任務腳本并對其處理，生成帶有操作信息的任務腳本文件；

S3：所述腳本運行單元獲取帶有操作信息的任務腳本文件進行處理，生成腳本運行文件；

S4：數據血統獲取單元獲取腳本運行文件、源數據文件進行分析，獲取數據血統；

S5：所述數據血統獲取單元將數據血統寫入數據血統表與數據血統附屬表；

S6：所述數據血統獲取單元將數據血統表與數據血統附屬表存入數據血統存儲單元。

較佳的，所述步驟S4具體為：

操作信息獲取子單元根據配置文件獲取一些列的操作的操作號與SQL語言，字段信息獲取子單元獲取一次操作所得到的字段。

與現有技術相比較，本發明的有益效果在于：開發人員可以自行設置參數，選擇需要查看的數據血統，此裝置可以把用戶需要的數據血統以圖表的方式展示出來。該圖表包含了操作的順序和每個操作對數據的行為。該方法及裝置還有出錯檢測功能，操作出錯情況可以顯示在上述圖表中。此外，用戶還可以任意選擇任務斷點以及查看該斷點的數據輸出情況及數據血統。

附圖說明

圖1為本發明中所述ETL數據血統查詢系統結構示意圖；