[發(fā)明專利]一種智能監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)調(diào)度系統(tǒng)的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910552238.8
• 申請(qǐng)日: 2019-06-25
• 公開（公告）號(hào): CN110262945A
• 公開（公告）日: 2019-09-20
• 發(fā)明（設(shè)計(jì)）人: 王德敏;董磊;張程
• 申請(qǐng)（專利權(quán)）人: 蘇寧消費(fèi)金融有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F11/32;G06F16/25
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 戴朝榮

本發(fā)明涉及一種智能監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)調(diào)度系統(tǒng)的方法，具體包含以下步驟：（1）監(jiān)控調(diào)度系統(tǒng)軟硬件資源的可用性；（2）監(jiān)控ODS自動(dòng)化系統(tǒng)，并提供異常處理機(jī)制；（3）監(jiān)控應(yīng)用系統(tǒng)的查詢效率，并提供優(yōu)化建議；（4）監(jiān)控ETL跑批過(guò)程。本發(fā)明的一種智能監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)調(diào)度系統(tǒng)的方法，使得對(duì)調(diào)度系統(tǒng)的監(jiān)控全方位、全流程的覆蓋到每一個(gè)場(chǎng)景；還對(duì)可能出現(xiàn)的問(wèn)題提前預(yù)防，讓已經(jīng)出現(xiàn)的問(wèn)題立即自動(dòng)修復(fù)，讓無(wú)法自動(dòng)修復(fù)的報(bào)錯(cuò)定位到問(wèn)題并及時(shí)通知運(yùn)維人員處理，并不斷完善系統(tǒng)修復(fù)的功能。本發(fā)明的監(jiān)控方法每天輸出系統(tǒng)監(jiān)控報(bào)告，報(bào)告中詳細(xì)描述系統(tǒng)監(jiān)控指標(biāo)情況及建議。

技術(shù)領(lǐng)域

本發(fā)明涉及智能監(jiān)控技術(shù)領(lǐng)域，具體涉及一種智能監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)調(diào)度系統(tǒng)的方法。

背景技術(shù)

大數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)龐大的業(yè)務(wù)系統(tǒng)，包含ETL調(diào)度、多個(gè)模型層、若干應(yīng)用系統(tǒng)等，管理和維護(hù)很不方便，缺乏有效的告警。業(yè)務(wù)數(shù)據(jù)出現(xiàn)問(wèn)題都是后知后覺，常常是等到出現(xiàn)問(wèn)題，再由人工處理問(wèn)題，耗時(shí)較長(zhǎng)并效率較低。準(zhǔn)確、穩(wěn)定的業(yè)務(wù)數(shù)據(jù)是公司業(yè)務(wù)開展的前提和保障，為了提高大數(shù)據(jù)系統(tǒng)的穩(wěn)定性，需要對(duì)監(jiān)控機(jī)制進(jìn)行優(yōu)化改進(jìn)。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種智能監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)調(diào)度系統(tǒng)的方法。

為解決以上技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案為：提供一種智能監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)調(diào)度系統(tǒng)的方法，其創(chuàng)新點(diǎn)在于：具體包含以下步驟：

（1）監(jiān)控調(diào)度系統(tǒng)軟硬件資源的可用性；

（2）監(jiān)控ODS自動(dòng)化系統(tǒng)，并提供異常處理機(jī)制；

（3）監(jiān)控應(yīng)用系統(tǒng)的查詢效率，并提供優(yōu)化建議；

（4）監(jiān)控ETL跑批過(guò)程。

進(jìn)一步的，所述步驟（1）中的監(jiān)控調(diào)度系統(tǒng)軟硬件資源的可用性主要是通過(guò)系統(tǒng)定時(shí)掃描大數(shù)據(jù)相關(guān)機(jī)器的帶寬、磁盤IO、CPU、內(nèi)存、數(shù)據(jù)庫(kù)的狀態(tài)以及數(shù)據(jù)庫(kù)表空間使用情況來(lái)實(shí)現(xiàn)，將掃描結(jié)果和預(yù)先設(shè)置的閾值進(jìn)行比較，若不在預(yù)先設(shè)置的閾值范圍內(nèi)，則自動(dòng)觸發(fā)告警，顯示觸發(fā)告警的資源不可用。

進(jìn)一步的，所述步驟（2）主要是通過(guò)以下步驟實(shí)現(xiàn)：

1）調(diào)度系統(tǒng)輔助ODS自動(dòng)化系統(tǒng)，并同步監(jiān)控ODS自動(dòng)化全流程，記錄ODS自動(dòng)化每一步的操作日志；

2）當(dāng)ODS自動(dòng)化出現(xiàn)報(bào)錯(cuò)，調(diào)度系統(tǒng)自動(dòng)捕獲異常，通過(guò)自身程序修復(fù)異常問(wèn)題，并提供異常回滾機(jī)制；

3）當(dāng)出現(xiàn)無(wú)法處理的問(wèn)題立即告警，通知運(yùn)維人員處理。

進(jìn)一步的，所述步驟（3）中監(jiān)控應(yīng)用系統(tǒng)的查詢效率主要表現(xiàn)在：調(diào)度系統(tǒng)每天定時(shí)掃描每張報(bào)表的查詢效率性能，通過(guò)預(yù)先設(shè)置的閾值，當(dāng)查詢耗時(shí)超過(guò)閾值，觸發(fā)告警并將查詢SQL的執(zhí)行計(jì)劃和優(yōu)化建議發(fā)送給開發(fā)人員進(jìn)行性能優(yōu)化。

進(jìn)一步的，所述步驟（4）中對(duì)ETL跑批過(guò)程監(jiān)控包括：

1）通過(guò)全流程監(jiān)控ETL跑批、記錄任務(wù)運(yùn)行過(guò)程中產(chǎn)生的日志和檢查當(dāng)天所有調(diào)度任務(wù)的執(zhí)行情況；

2）針對(duì)對(duì)調(diào)度系統(tǒng)的監(jiān)控情況提供任務(wù)失敗告警、超時(shí)未完成告警、任務(wù)成功提示等功能；

3）監(jiān)控并分析Hive任務(wù)運(yùn)行情況，包括內(nèi)存消耗、CPU消耗、HDFS讀寫次數(shù)、Map數(shù)和平均耗時(shí)等，系統(tǒng)提供優(yōu)化建議；

4）定時(shí)備份ETL任務(wù)代碼，提供代碼異常恢復(fù)機(jī)制；

5）提供任務(wù)上下游依賴關(guān)系分析。

進(jìn)一步的，所述步驟1）中檢查當(dāng)天所有調(diào)度任務(wù)的所述執(zhí)行情況包括任務(wù)的報(bào)錯(cuò)、延遲和重跑情況。

本發(fā)明和現(xiàn)有技術(shù)相比，產(chǎn)生的有益效果為：