[發明專利]一種數據倉庫ETL操作系統

有效

• 申請號: 201811283414.4
• 申請日: 2018-10-31
• 公開（公告）號: CN109299180B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 魯大軍
• 申請（專利權）人: 武漢光谷聯眾大數據技術有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 北京天盾知識產權代理有限公司 11421
• 代理人: 楊本官

本發明屬于數據處理方法或系統技術領域，尤其涉及一種數據倉庫ETL操作系統。本發明的據倉庫ETL操作系統實現了數據的實施抽取，大大減小了獲取和處理原始數據的時間，通過抽取?轉換?發布?獲取實現對數據轉換以及加載的分布式處理，改變了傳統的周期性作業執行步驟，降低了數據的延遲率，提高了數據的實時反應速度。

技術領域

本發明屬于數據處理方法或系統技術領域，尤其涉及一種數據倉庫ETL操作系統。

背景技術

隨著計算機技術和信息技術的飛速發展,電子信息數據在企業的日常運營中越來越重要,企業迫切需要高效、精確、及時地分析數據。傳統數據倉庫的數據加載周期較長,往往只能提供對歷史數據的分析與查詢,不能實時地反應數據信息變化。信息是現代企業的重要資源，是企業運用科學管理、決策分析的基礎。目前，大多數企業花費大量的資金和時間來構建聯機事務處理OLTP的業務系統和辦公自動化系統，用來記錄事務處理的各種相關數據。據統計，數據量每2～3年時間就會成倍增長，這些數據蘊含著巨大的商業價值，而企業所關注的通常只占在總數據量的2％～4％左右。因此，企業仍然沒有最大化地利用已存在的數據資源，以至于浪費了更多的時間和資金，也失去制定關鍵商業決策的最佳契機。于是，企業如何通過各種技術手段，并把數據轉換為信息、知識，已經成了提高其核心競爭力的主要瓶頸。隨著企業對于實時數據處理的需求的增加，實現實時性更高、數據獲取更加快捷方便的自動化處理技術以及方案是企業未來數據處理的重要發展方向。

發明內容

本發明創造的目的在于，提供一種數據倉庫ETL操作系統，提高并發多作業流程時數據系統處理任務的效率以及數據獲取、處理的實時性，同時提高各系統層次之間數據的獨立性，減少關聯數據的處理工作量，保證多發任務情形下各作業流程的相對獨立。

為實現上述目的，本發明創造采用如下技術方案。

一種數據倉庫ETL操作系統，含有

i.用戶交互模塊，包括：

1a.用于在數據集成以及數據流程中的實現描述數據管理的交互管理組件；

1b.用于定義原始數據和目標數據之間的映射關系、數據的轉換關系、數據的處理流程、與ETL的交互過程的數據組件；

1c.用于展示原始數據和目標數據之間的映射關系、數據轉換關系、數據處理流程、與ETL交互過程的可視化組件；

描述數據至少包括用于描述ETL具體操作過程的流程描述數據；包括流程內組件信息描述數據、各組件之間的配置關系描述數據；

ii.作業管理模塊，包括：

2a.用于控制和改變作業流程的啟動、作業類型、作業流程的控制方式并將其推送至作業執行組件的控制組件；

2b.用于解析各作業流程對應的描述數據，構造作業流程間組織關系并推送至作業執行組件的分解組件；

2c.用于完成不同作業流程之間以及作業流程控制方式的切換、啟動的執行組件；執行組件直接或者定時或者周期性的執行由控制組件和/或分解組件推送的作業流程；依不同作業流程所需要的原始數據的實時性強弱對多個同時或者同時間段推送的作業流程進行排序后依強弱順序先后執行；

2d.用于完成作業流程中原始數據的預處理的轉換組件；轉換組件接收待處理數據后，利用數據行對象化工具將數據對象化為轉換組件可處理的對象格式，對數據進行檢索，根據數據的當前屬性值與轉換規則中規則進行匹配，對符合轉換規則的數據進行轉換和轉發；

2e.用于以分布式布置的作為數據服務器以及原始數據的緩存的響應組件；響應組件以異步模式方式執行，由原始數據組件和數據抽取組件獲取的原始數據通過響應組件進行發布，各作業流程根據自身需求通過響應組件完成數據獲??；

iii.數據組件模塊，包括：