[發明專利]一種ETL作業的監控方法和系統

在審

• 申請號: 201710370462.6
• 申請日: 2017-05-23
• 公開（公告）號: CN107247652A
• 公開（公告）日: 2017-10-13
• 發明（設計）人: 江敏;肖詩斌
• 申請（專利權）人: 北京拓爾思信息技術股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32
• 代理公司: 北京金律言科知識產權代理事務所(普通合伙)11461
• 代理人: 趙海嬌,黃海艷

1.一種ETL作業的監控方法，包括：

獲取并上報ETL作業的執行元數據和日志數據；

基于操作請求信息根據所述執行元數據和日志數據生成圖譜數據；

將所述圖譜數據按照圖譜形式進行展示。

2.根據權利要求1所述的方法，其中，所述獲取并上報ETL作業的執行元數據和日志數據，包括：

在所述ETL作業執行開始時，獲取并上報所述ETL作業的執行批次號、執行開始時間和作業標識號；

在所述ETL作業執行過程中，獲取并實時/批量上報所述作業標識號、各階段的文字描述信息和錯誤堆棧信息；

在所述ETL作業執行過程中，獲取并按照預定的時間間隔上報所述作業標識號和各流程處理進度；

在所述ETL作業執行結束時，獲取并上報所述ETL作業的執行結束時間、作業狀態和所述作業標識號；

其中，所述各流程處理進度包括以下至少之一：作業完成的百分比、處理的記錄數、字節流大小。

3.根據權利要求1所述的方法，其中，所述基于操作請求信息根據所述執行元數據和日志數據生成圖譜數據，包括：

基于所述操作請求信息中的時間范圍，根據所述執行元數據和日志數據生成圖譜粒度，所述圖譜粒度包括以下至少之一：年、月、日、時、分、秒；

計算所述圖譜粒度下各時間片的圖譜數據。

4.根據權利要求3所述的方法，其中，所述將所述圖譜數據按照圖譜形式進行展示，包括：

按照時間順序展示所述各時間片的圖譜數據。

5.根據權利要求1所述的方法，其中，所述將所述圖譜數據按照圖譜形式進行展示，包括：

接收針對某圖譜數據所在區域的查看操作；

展示該圖譜數據對應的ETL作業的執行元數據和日志數據。

6.根據權利要求5所述的方法，其中，所述將所述圖譜數據按照圖譜形式進行展示，包括：

實時刷新正在執行的ETL作業的圖譜數據，同步展示所述正在執行的ETL作業的執行元數據和日志數據。

7.一種ETL作業的監控系統，包括：

作業執行模塊，用于獲取并上報ETL作業的執行元數據和日志數據；

監控中心模塊，用于基于操作請求信息根據所述執行元數據和日志數據生成圖譜數據；

界面交互模塊，用于將所述圖譜數據按照圖譜形式進行展示。

8.根據權利要求7所述的系統，其中，所述作業執行模塊，用于在所述ETL作業執行開始時，獲取并上報所述ETL作業的執行批次號、執行開始時間和作業標識號；在所述ETL作業執行過程中，獲取并實時/批量上報所述作業標識號、各階段的文字描述信息和錯誤堆棧信息，獲取并按照預定的時間間隔上報所述作業標識號和各流程處理進度；在所述ETL作業執行結束時，獲取并上報所述ETL作業的執行結束時間、作業狀態和所述作業標識號；

其中，所述各流程處理進度包括以下至少之一：作業完成的百分比、處理的記錄數、字節流大小。

9.根據權利要求7所述的系統，其中，所述監控中心模塊，包括：

生成子模塊，用于基于所述操作請求信息中的時間范圍，根據所述執行元數據和日志數據生成圖譜粒度，所述圖譜粒度包括以下至少之一：年、月、日、時、分、秒；

計算子模塊，用于計算所述圖譜粒度下各時間片的圖譜數據。

10.根據權利要求9所述的系統，其中，所述界面交互模塊，用于按照時間順序展示所述各時間片的圖譜數據；

所述界面交互模塊，包括：

查看展示子模塊，用于接收針對某圖譜數據所在區域的查看操作，展示該圖譜數據對應的ETL作業的執行元數據和日志數據；

刷新同步子模塊，用于實時刷新正在執行的ETL作業的圖譜數據，同步展示所述正在執行的ETL作業的執行元數據和日志數據。