[發明專利]一種ETL作業自動切庫系統及方法

有效

• 申請號: 201410601466.7
• 申請日: 2014-10-30
• 公開（公告）號: CN104298773B
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 羅達志
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京輕創知識產權代理有限公司11212
• 代理人: 楊立

技術領域

本發明涉及計算機技術領域，尤其涉及一種ETL作業自動切庫系統及方法。

背景技術

ETL作業是指利用ETL工具將分布的、異構數據源中的數據(如關系數據、平面數據文件等)抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

目前比較重要的系統都會有生產庫和備份庫(BCV庫)，備份庫存放生產某一時刻的拍照數據，作為應急之用。ETL工具大多都是避開數據操作的高峰時期從生產庫獲取即時的拍照數據，但是在現在信息高度發達的時代，生產庫的數據操作相當頻繁，會導致抽取時間較長的ETL作業由于臟讀報錯，從而抽不出數據，只有通過人工手動切換到備份庫抽取數據。該方式耗費大量人力，實現效率低，且無法保證操作的穩定性和可靠性。

發明內容

本發明所要解決的技術問題是針對現有技術的不足，提供一種ETL作業自動切庫系統及方法，實現在ETL作業中，數據庫自動切換以保證ETL作業順利完成。

本發明解決上述技術問題的技術方案如下：一種ETL作業自動切庫系統，包括生產庫、備份庫、ETL作業執行模塊、ETL作業掃描模塊、備份庫狀態監控模塊和ETL切庫處理模塊；

所述生產庫，其用于為ETL作業提供數據源；

所述備份庫，其用于定期備份生產庫中的數據，當ETL作業在生產庫的操作出現錯誤時為報錯的ETL作業提供數據源；

所述ETL作業執行模塊，其用于從生產庫中抽取所需數據進行ETL處理，在生產庫的操作報錯時根據ETL切庫處理模塊發送的切庫觸發指令將報錯ETL作業的操作對象由生產庫切換到備份庫，進而根據ETL切庫處理模塊發送的人工干預信息修改作業配置信息，在備份庫中執行報錯ETL作業；

所述ETL作業掃描模塊，其用于定期掃描ETL作業執行模塊執行各ETL作業的情況，當發現有報錯ETL作業時，根據報錯ETL作業的作業信息生成人工干預信息發送給ETL切庫處理模塊；

所述備份庫狀態監控模塊，其用于定期對備份庫的同步情況進行核查，并將備份庫的狀態信息發送給ETL切庫處理模塊；

所述ETL切庫處理模塊，其用于在收到ETL作業掃描模塊發送的人工干預信息后，根據備份庫狀態信息判斷備份庫的狀態，當備份庫處于數據同步完成狀態時，生成切庫觸發指令發送給ETL切庫處理模塊，當ETL作業執行模塊完成切庫操作后，將人工干預信息發送給ETL作業執行模塊。

本發明的有益效果是：本發明在作業報錯后，自動將作業操作對象由生產庫切換到備份庫，保障作業正常抽取，從而可以保障數據抽取的穩定性，支撐下游系統的數據及時性，節約人力成本，明顯提高了工作效率，使系統維護更加人性化、智能化。

在上述技術方案的基礎上，本發明還可以做如下改進。

進一步，所述ETL切庫處理模塊還用于在ETL作業執行模塊執行切庫操作后插入本次操作的人工干預信息前，根據ETL作業掃描模塊獲取的報錯ETL作業執行情況檢測該報錯ETL作業是否存在成功記錄，如果存在則將報錯ETL作業的操作對象由備份庫切換回生產庫，如果不存在則進一步檢測該報錯ETL作業是否正在運行，如果正在運行則等待，直至運行完成再判斷是否運行成功，如果運行成功則將報錯ETL作業的操作對象由備份庫切換回生產庫，否則控制ETL作業執行模塊清除已存在的臨時文件和人工干預信息，插入本次操作的人工干預信息，進而ETL作業執行模塊根據本次人工干預信息執行報錯ETL作業。

采用上述進一步方案的有益效果：在插入本次操作的人工干預之前清除臨時文件，是為了保障抽取數據準確性，避免因作業失敗后再次運行時會把前次作業的臨時文件也計算進來，進而導致重復數據的產生；清理以前的人工干預信息是為了保障人工干預信息插入的正確性，避免因多次插入相同的人工干預信息而引發數據庫唯一性約束的報錯。

進一步，所述ETL作業掃描模塊還用于當掃描到報錯ETL作業在備份庫執行完成時，向ETL切庫處理模塊發送報錯ETL作業處理完成的通知，所述ETL切庫處理模塊根據ETL掃描模塊發送的通知生成切庫觸發指令發送給ETL作業執行模塊，ETL作業執行模塊將ETL作業的操作對象由備份庫切回生產庫。

進一步，所述ETL作業執行模塊內存儲有配置表，根據人工干預信息修改配置表相應內容，在備份庫中執行。

進一步，所述ETL作業掃描模塊同時檢測到一個以上的報錯ETL作業時，按各報錯ETL作業操作的生產庫生成作業號列表，分別處理每個報錯ETL作業。