[發(fā)明專利]一種數(shù)據(jù)倉庫ETL操作系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811283414.4
• 申請日: 2018-10-31
• 公開（公告）號: CN109299180B
• 公開（公告）日: 2021-08-27
• 發(fā)明（設計）人: 魯大軍
• 申請（專利權）人: 武漢光谷聯(lián)眾大數(shù)據(jù)技術有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 北京天盾知識產(chǎn)權代理有限公司 11421
• 代理人: 楊本官

1.一種數(shù)據(jù)倉庫ETL操作系統(tǒng)，其特征在于，含有

i.用戶交互模塊，包括：

1a.用于在數(shù)據(jù)集成以及數(shù)據(jù)流程中實現(xiàn)描述數(shù)據(jù)管理的交互管理組件；

1b.用于定義原始數(shù)據(jù)和目標數(shù)據(jù)之間的映射關系、數(shù)據(jù)的轉換關系、數(shù)據(jù)的處理流程、與ETL的交互過程的數(shù)據(jù)組件；

1c.用于展示原始數(shù)據(jù)和目標數(shù)據(jù)之間的映射關系、數(shù)據(jù)轉換關系、數(shù)據(jù)處理流程、與ETL交互過程的可視化組件；

所述描述數(shù)據(jù)至少包括用于描述ETL具體操作過程的流程描述數(shù)據(jù)；包括流程內(nèi)組件信息描述數(shù)據(jù)、各組件之間的配置關系描述數(shù)據(jù)；

ii.作業(yè)管理模塊，包括：

2a.用于控制和改變作業(yè)流程的啟動、作業(yè)類型、作業(yè)流程的控制方式并將其推送至作業(yè)執(zhí)行組件的控制組件；

2b.用于解析各作業(yè)流程對應的描述數(shù)據(jù)，構造作業(yè)流程間組織關系并推送至作業(yè)執(zhí)行組件的分解組件；

2c.用于完成不同作業(yè)流程之間以及作業(yè)流程控制方式的切換、啟動的執(zhí)行組件；所述執(zhí)行組件直接或者定時或者周期性的執(zhí)行由控制組件和/或分解組件推送的作業(yè)流程；依不同作業(yè)流程所需要的原始數(shù)據(jù)的實時性強弱對多個同時或者同時間段推送的作業(yè)流程進行排序后依強弱順序先后執(zhí)行；

2d.用于完成作業(yè)流程中原始數(shù)據(jù)的預處理的轉換組件；所述轉換組件接收待處理數(shù)據(jù)后，利用數(shù)據(jù)行對象化工具將數(shù)據(jù)對象化為轉換組件可處理的對象格式，對數(shù)據(jù)進行檢索，根據(jù)數(shù)據(jù)的當前屬性值與轉換規(guī)則中規(guī)則進行匹配，對符合轉換規(guī)則的數(shù)據(jù)進行轉換和轉發(fā)；

2e.用于以分布式布置的作為數(shù)據(jù)服務器以及原始數(shù)據(jù)的緩存的響應組件；所述響應組件以異步模式方式執(zhí)行，由原始數(shù)據(jù)組件和數(shù)據(jù)抽取組件獲取的原始數(shù)據(jù)通過響應組件進行發(fā)布，各作業(yè)流程根據(jù)自身需求通過響應組件完成數(shù)據(jù)獲取；

iii.數(shù)據(jù)組件模塊，包括：

3a.用于存儲和從原始數(shù)據(jù)對應設備或平臺的數(shù)據(jù)庫組件，包括原始數(shù)據(jù)組件數(shù)據(jù)抽取組件；所述數(shù)據(jù)抽取組件為與原始數(shù)據(jù)相應設備或平臺無關的抽取工具；數(shù)據(jù)抽取組件針對實時作業(yè)流程采用直接點滴加載方式導入和存儲在數(shù)據(jù)緩存區(qū)域，針對數(shù)據(jù)倉庫以及非實時作業(yè)流程通過微批量加載的方式導入和存儲在數(shù)據(jù)倉庫；

3b.文件操作組件；

3c.記錄組件；

所述響應組件對各作業(yè)流程對應的轉換任務設置為提交、等待、準備、執(zhí)行、停止五個中間狀態(tài)；對各轉換任務設置編號、周期、狀態(tài)、優(yōu)先、序號、記錄、等待、重復八個標志類；其中提交是指轉換還未準備執(zhí)行等待設置啟動時間、等待是指進入轉換隊列等待原始數(shù)據(jù)、準備是指原始數(shù)據(jù)已準備好準備執(zhí)行、執(zhí)行是指轉換正在進行、停止是指轉換已經(jīng)停止；編號是各轉換任務的唯一編碼、周期是指轉換任務執(zhí)行等待時間---實時任務為0、狀態(tài)是指轉換任務實時狀態(tài)---初始值為1、優(yōu)先是指依據(jù)轉換任務實時性需求排序的優(yōu)先級---優(yōu)先級越高數(shù)值越大、序號是指轉換任務對應的原始數(shù)據(jù)躲在數(shù)據(jù)表中的隊列排序、記錄是指該轉換任務上依次結束時的記錄---初始值為0、等待是指轉換任務在就緒隊列中等待的時長--初始值為0、重復是指轉換任務是否需要重復；響應組件執(zhí)轉換過程中，任意一個轉換任務的優(yōu)先等級為任務標志與等待標志數(shù)值的和，每執(zhí)行一次任務調(diào)度，則對等待標志加一處理。

2.根據(jù)權利要求1所述一種數(shù)據(jù)倉庫ETL操作系統(tǒng)，其特征在于，所述響應組件根據(jù)原始數(shù)據(jù)的分類構建數(shù)據(jù)表，數(shù)據(jù)庫組件將各原始數(shù)據(jù)依照數(shù)據(jù)表依次放入表中，所述執(zhí)行組件根據(jù)作業(yè)流程相應的原始數(shù)據(jù)類別跟蹤數(shù)據(jù)表中相應數(shù)據(jù)，并根據(jù)作業(yè)流程內(nèi)容對原始數(shù)據(jù)進行處理；所述響應組件在原始數(shù)據(jù)累積或者超過特定量或者時間之后對舊數(shù)據(jù)進行刪除處理。

3.根據(jù)權利要求1所述一種數(shù)據(jù)倉庫ETL操作系統(tǒng)，其特征在于，所述轉換規(guī)則通過定義工具根據(jù)不同作業(yè)流程中問題數(shù)據(jù)的檢測規(guī)則以及處理規(guī)則定義好并存入規(guī)則庫，在各作業(yè)流程運行時，加載對應的轉換規(guī)則并對相應的原始數(shù)據(jù)進行預處理；響應組件采用動態(tài)加載模式在不影響正在運行的數(shù)據(jù)預處理的情況下將新規(guī)則加載和應用至數(shù)據(jù)轉換；響應組件按照各規(guī)則的模式匹配算法對數(shù)據(jù)的邏輯關系組合進行檢測判斷。

4.根據(jù)權利要求1所述一種數(shù)據(jù)倉庫ETL操作系統(tǒng)，其特征在于，所述可視化組件還用于，輸出交互管理組件操控窗口、輸出作業(yè)監(jiān)測數(shù)據(jù)、輸出流程日志信息。