[發明專利]一種ETL作業的監控方法和系統

在審

• 申請號: 201710370462.6
• 申請日: 2017-05-23
• 公開（公告）號: CN107247652A
• 公開（公告）日: 2017-10-13
• 發明（設計）人: 江敏;肖詩斌
• 申請（專利權）人: 北京拓爾思信息技術股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32
• 代理公司: 北京金律言科知識產權代理事務所(普通合伙)11461
• 代理人: 趙海嬌,黃海艷

技術領域

本發明實施例涉及大數據整合技術領域，尤其涉及一種ETL作業的監控方法和系統。

背景技術

在大數據時代，通常通過ETL(Extract Transform Load，抽取轉換加載)技術來整合各種來源的數據，以進行進一步的數據挖掘和分析。ETL用來描述將數據從來源端經過抽取、轉換、加載至目的端的過程。在整合動態更新的數據時，ETL以定時或者實時的方式實現數據的處理。

目前，ETL作業的監控方案多關注于當前作業的狀態，如正在執行、空閑且上次執行正常、上次執行有警告、上次執行發生了錯誤、正在等待下次定時執行的作業等。對于正在執行的作業，還可以進一步監控正在執行的具體模塊。當作業執行失敗時，雖然可以采用重跑機制，但不是所有失敗在重新執行時都能解決，因此，目前的ETL作業的監控方案中，常見的處理策略是發送告警信號，將ETL作業的錯誤信息及時通知給相關人員，以便人工及時進行干預，如發送錯誤通知郵件、推送錯誤警告日志等，無法直觀地監控ETL作業。

發明內容

本發明實施例提供了一種ETL作業的監控方法和系統，以解決現有的ETL作業的監控方案無法直觀地監控ETL作業的問題。

根據本發明實施例的一方面，提供了一種ETL作業的監控方法，包括：獲取并上報ETL作業的執行元數據和日志數據；基于操作請求信息根據所述執行元數據和日志數據生成圖譜數據；將所述圖譜數據按照圖譜形式進行展示。

根據本發明實施例的另一方面，還提供了一種ETL作業的監控系統，包括：作業執行模塊，用于獲取并上報ETL作業的執行元數據和日志數據；監控中心模塊，用于基于操作請求信息根據所述執行元數據和日志數據生成圖譜數據；界面交互模塊，用于將所述圖譜數據按照圖譜形式進行展示。

根據本發明實施例提供的一種ETL作業的監控方法和系統，獲取并上報ETL作業的執行元數據和日志數據；基于操作請求信息根據執行元數據和日志數據生成圖譜數據；將圖譜數據按照圖譜形式進行展示。本發明實施例可以通過圖譜的形式對ETL作業進行監控，使得ETL作業的監控更加直觀。

附圖說明

圖1是根據本發明實施例一的一種ETL作業的監控方法的步驟流程圖；

圖2是根據本發明實施例二的一種ETL作業的監控方法的步驟流程圖；

圖3是根據本發明實施例二的一種ETL作業的監控方法中的圖譜數據展示示意圖；

圖4是根據本發明實施例三的一種ETL作業的監控系統的結構框圖；

圖5是根據本發明實施例四的一種ETL作業的監控系統的結構框圖。

具體實施方式

下面結合附圖(若干附圖中相同的標號表示相同的元素)和實施例，對本發明實施例的具體實施方式作進一步詳細說明。以下實施例用于說明本發明，但不用來限制本發明的范圍。

本領域技術人員可以理解，本發明實施例中的“第一”、“第二”等術語僅用于區別不同步驟、設備或模塊等，既不代表任何特定技術含義，也不表示它們之間的必然邏輯順序。

實施例一

圖1示出了根據本發明實施例一的一種ETL作業的監控方法的步驟流程圖。

本實施例提供的ETL作業的監控方法包括如下步驟。

步驟S100、獲取并上報ETL作業的執行元數據和日志數據。

本實施例中的ETL作業可以為任意ETL作業。本步驟S100可以在在ETL作業執行時，獲取ETL作業的執行元數據和日志數據，其中，ETL作業執行包括執行開始、執行過程中和執行結束三個階段。

本實施例中的執行元數據包括但不限于：執行開始時間、執行結束時間、ETL作業中的各流程處理進度、作業狀態(正常、警告、錯誤等)等結構化的特征數據。日志數據包括但不限于：ETL作業執行過程中各個階段的文字描述、錯誤堆棧等信息。

步驟S102、基于操作請求信息根據執行元數據和日志數據生成圖譜數據。

本實施例中的操作請求信息可以來源于監控用戶通過鍵盤、鼠標或者觸摸屏等輸入設備輸入的監控操作。

本實施例中，不僅根據執行元數據和日志數據生成圖譜數據，還可以按照設定格式對執行元數據和日志數據進行存儲。

步驟S104、將圖譜數據按照圖譜形式進行展示。