[發明專利]一種ETL作業自動切庫系統及方法

有效

• 申請號: 201410601466.7
• 申請日: 2014-10-30
• 公開（公告）號: CN104298773B
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 羅達志
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京輕創知識產權代理有限公司11212
• 代理人: 楊立

1.一種ETL作業自動切庫系統，其特征在于，包括生產庫、備份庫、ETL作業執行模塊、ETL作業掃描模塊、備份庫狀態監控模塊和ETL切庫處理模塊；

所述生產庫，其用于為ETL作業提供數據源；

所述備份庫，其用于定期備份生產庫中的數據，當ETL作業在生產庫的操作出現錯誤時為報錯的ETL作業提供數據源；

所述ETL作業執行模塊，其用于從生產庫中抽取所需數據進行ETL處理，在生產庫的操作報錯時根據ETL切庫處理模塊發送的切庫觸發指令將報錯ETL作業的操作對象由生產庫切換到備份庫，進而根據ETL切庫處理模塊發送的人工干預信息修改作業配置信息，在備份庫中執行報錯ETL作業；

所述ETL作業掃描模塊，其用于定期掃描ETL作業執行模塊執行各ETL作業的情況，當發現有報錯ETL作業時，根據報錯ETL作業的作業信息生成人工干預信息發送給ETL切庫處理模塊；

所述備份庫狀態監控模塊，其用于定期對備份庫的同步情況進行核查，并將備份庫的狀態信息發送給ETL切庫處理模塊；

所述ETL切庫處理模塊，其用于在收到ETL作業掃描模塊發送的人工干預信息后，根據備份庫狀態信息判斷備份庫的狀態，當備份庫處于數據同步完成狀態時，生成切庫觸發指令發送給ETL切庫處理模塊，當ETL作業執行模塊完成切庫操作后，將人工干預信息發送給ETL作業執行模塊；

其中，人工干預信息自定義報錯報文ETL作業運行的時間、頻率和次數；作業配置信息包括作業號、數據庫、抽取表名、生成文件名、開始時間和結束時間。

2.根據權利要求1所述的一種ETL作業自動切庫系統，其特征在于，所述ETL切庫處理模塊還用于在ETL作業執行模塊執行切庫操作后插入本次操作的人工干預信息前，根據ETL作業掃描模塊獲取的報錯ETL作業執行情況檢測該報錯ETL作業是否存在成功記錄，如果存在則將報錯ETL作業的操作對象由備份庫切換回生產庫，如果不存在則進一步檢測該報錯ETL作業是否正在運行，如果正在運行則等待，直至運行完成再判斷是否運行成功，如果運行成功則將報錯ETL作業的操作對象由備份庫切換回生產庫，否則控制ETL作業執行模塊清除已存在的臨時文件和人工干預信息，插入本次操作的人工干預信息，進而ETL作業執行模塊根據本次人工干預信息執行報錯ETL作業。

3.根據權利要求1所述的一種ETL作業自動切庫系統，其特征在于，所述ETL作業掃描模塊還用于當掃描到報錯ETL作業在備份庫執行完成時，向ETL切庫處理模塊發送報錯ETL作業處理完成的通知，所述ETL切庫處理模塊根據ETL掃描模塊發送的通知生成切庫觸發指令發送給ETL作業執行模塊，ETL作業執行模塊將ETL作業的操作對象由備份庫切回生產庫。

4.根據權利要求1所述的一種ETL作業自動切庫系統，其特征在于，所述ETL作業執行模塊內存儲有配置表，根據人工干預信息修改配置表相應內容，在備份庫中執行報錯ETL作業。

5.根據權利要求1所述的一種ETL作業自動切庫系統，其特征在于，所述ETL作業掃描模塊同時檢測到一個以上的報錯ETL作業時，按各報錯ETL作業操作的生產庫生成作業號列表，分別處理每個報錯ETL作業。

6.一種ETL作業自動切庫方法，其特征在于，包括如下步驟：

步驟1，定期掃描各ETL作業執行情況；

步驟2，判斷是否存在報錯ETL作業，如果存在執行步驟3，否則返回步驟1；

步驟3，根據報錯ETL作業的作業信息拼湊出人工干預信息；

步驟4，定期核查備份庫的數據同步情況，判斷備份庫的工作狀態，如果處于數據同步完成狀態則執行步驟5；如果數據同步未完成則等待，直至數據同步完成進而執行步驟5；

步驟5，生成切庫觸發指令將報錯ETL作業的操作對象由生產庫切到備份庫，切庫完成根據人工干預信息修改作業配置信息，在備份庫中執行ETL作業；

其中，人工干預信息自定義報錯報文ETL作業運行的時間、頻率和次數；作業配置信息包括作業號、數據庫、抽取表名、生成文件名、開始時間和結束時間。