[發(fā)明專利]任務(wù)監(jiān)控方法及裝置

在審

• 申請?zhí)枺?/td>: 201710384951.7
• 申請日: 2017-05-26
• 公開（公告）號: CN107301113A
• 公開（公告）日: 2017-10-27
• 發(fā)明（設(shè)計）人: 謝凱
• 申請（專利權(quán)）人: 北京小度信息科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F17/30
• 代理公司: 北京太合九思知識產(chǎn)權(quán)代理有限公司11610
• 代理人: 劉戈

技術(shù)領(lǐng)域

本發(fā)明實施例涉及計算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種任務(wù)監(jiān)控方法及裝置。

背景技術(shù)

ETL(extract-transform-load，抽取-轉(zhuǎn)換-裝載)用來描述數(shù)據(jù)從源端經(jīng)過抽取、轉(zhuǎn)換、加載至目的端的執(zhí)行過程。

在進(jìn)行數(shù)據(jù)分析、使用等數(shù)據(jù)處理中，數(shù)據(jù)ETL是不可或缺的關(guān)鍵步驟，數(shù)據(jù)的及時產(chǎn)出有著很重要的作用。

但是實際應(yīng)用中，由于存在大量的ETL任務(wù)，通常會存在某些ETL任務(wù)產(chǎn)出延遲情況，

發(fā)明內(nèi)容

由于實際應(yīng)用中存在大量ETL(extract-transform-load，抽取-轉(zhuǎn)換-裝載)任務(wù)，通常會存在ETL任務(wù)產(chǎn)出延遲情況，發(fā)明人在研究中發(fā)現(xiàn)，在進(jìn)行數(shù)據(jù)分析或使用等處理時，可能會對應(yīng)設(shè)置多個ETL任務(wù)，由于數(shù)據(jù)處理會例行執(zhí)行，比如每天都會進(jìn)行數(shù)據(jù)ETL，如果可以了解ETL任務(wù)的延遲趨勢和延遲范圍，宏觀把握ETL變化趨勢，可以及時進(jìn)行優(yōu)化，將減少ETL任務(wù)產(chǎn)出延遲造成的影響，據(jù)此提出了本發(fā)明實施例的技術(shù)方案，本發(fā)明實施例提供了一種任務(wù)監(jiān)控方法及裝置，實現(xiàn)了ETL任務(wù)的延遲信息自動統(tǒng)計，可以及時有效的獲得ETL任務(wù)的延遲情況。

本發(fā)明的第一方面提供了一種任務(wù)監(jiān)控方法，包括：

確定查詢配置信息；

基于所述查詢配置信息，查詢ETL任務(wù)的執(zhí)行完成情況，并根據(jù)所述執(zhí)行完成情況統(tǒng)計所述ETL任務(wù)的延遲信息；

輸出所述延遲信息。

可選地，所述延遲信息統(tǒng)計步驟包括：

基于所述查詢配置信息，從監(jiān)控數(shù)據(jù)庫中查詢ETL任務(wù)的執(zhí)行完成情況，并根據(jù)所述執(zhí)行完成情況統(tǒng)計所述ETL任務(wù)的延遲信息；

其中，所述執(zhí)行完成情況通過監(jiān)控所述ETL任務(wù)的執(zhí)行過程獲得并寫入所述監(jiān)控數(shù)據(jù)庫中。

可選地，所述延遲信息統(tǒng)計步驟包括：

在任一處理周期中的規(guī)定時間，基于所述查詢配置信息，查詢ETL任務(wù)執(zhí)行完成情況，并根據(jù)所述執(zhí)行完成情況統(tǒng)計所述ETL任務(wù)的延遲信息。

可選地，所述輸出所述延遲信息包括：

結(jié)合對多個處理周期統(tǒng)計獲得的延遲信息，生成統(tǒng)計分布圖；

輸出所述統(tǒng)計分布圖。

可選地，所述查詢配置信息確定步驟包括：

確定查詢語句模板；

將處理對象輸入所述查詢語句模板，獲得所述查詢配置信息；其中所述處理對象包括所述監(jiān)控數(shù)據(jù)庫的庫名稱、數(shù)據(jù)表的表名稱、所述執(zhí)行完成情況的字段名稱以及統(tǒng)計時間范圍。

第二方面，提供了一種任務(wù)監(jiān)控裝置，包括：

信息確定模塊，用于確定查詢配置信息；

信息統(tǒng)計模塊，用于基于所述查詢配置信息，查詢ETL任務(wù)的執(zhí)行完成情況，并根據(jù)所述執(zhí)行完成情況統(tǒng)計所述ETL任務(wù)的延遲信息；

信息輸出模塊，用于輸出所述延遲信息。

可選地，所述信息統(tǒng)計模塊具體用于：

基于所述查詢配置信息，從監(jiān)控數(shù)據(jù)庫中查詢ETL任務(wù)的執(zhí)行完成情況，并根據(jù)所述執(zhí)行完成情況統(tǒng)計所述ETL任務(wù)的延遲信息；

其中，所述執(zhí)行完成情況通過監(jiān)控所述ETL任務(wù)的執(zhí)行過程獲得并寫入所述監(jiān)控數(shù)據(jù)庫中。

可選地，所述信息統(tǒng)計模塊具體用于：

在任一處理周期中的規(guī)定時間，基于所述查詢配置信息，查詢ETL任務(wù)執(zhí)行完成情況，并根據(jù)所述執(zhí)行完成情況統(tǒng)計所述ETL任務(wù)的延遲信息。

可選地，所述信息輸出模塊包括：

繪制單元，用于結(jié)合對多個處理周期統(tǒng)計獲得的延遲信息，生成統(tǒng)計分布圖；

輸出單元，用于輸出所述統(tǒng)計分布圖。

可選地，所述信息確定模塊具體用于：

確定查詢語句模板；

將處理對象輸入所述查詢語句模板，獲得所述查詢配置信息；其中所述處理對象包括所述監(jiān)控數(shù)據(jù)庫的庫名稱、數(shù)據(jù)表的表名稱、所述執(zhí)行完成情況的字段名稱以及統(tǒng)計時間范圍。

本發(fā)明實施例中，通過確定查詢配置信息，基于查詢配置信息即可以自動查詢ETL任務(wù)的執(zhí)行完成情況，并根據(jù)所述執(zhí)行完成情況統(tǒng)計所述ETL任務(wù)的延遲信息，輸出該延遲信息，以方便用戶查看，及時獲知ETL任務(wù)的延遲信息，本發(fā)明實施例實現(xiàn)了ETL任務(wù)的延遲信息的自動統(tǒng)計，可以及時有效的獲得ETL任務(wù)的延遲情況。

本發(fā)明的這些方面或其他方面在以下實施例的描述中會更加簡明易懂。

附圖說明