[發(fā)明專利]流式任務(wù)自動(dòng)化監(jiān)控系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010628814.5
• 申請(qǐng)日: 2020-07-02
• 公開（公告）號(hào): CN111930589B
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 史可;戴飛俊
• 申請(qǐng)（專利權(quán)）人: 上海微億智造科技有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30
• 代理公司: 上海段和段律師事務(wù)所 31334
• 代理人: 李佳俊;郭國(guó)中

本發(fā)明提供了一種流式任務(wù)自動(dòng)化監(jiān)控系統(tǒng)及方法，包括：注冊(cè)服務(wù)模塊：對(duì)流式任務(wù)進(jìn)行注冊(cè)；發(fā)現(xiàn)服務(wù)模塊：監(jiān)聽正常的任務(wù)，發(fā)現(xiàn)了異常情況時(shí)，進(jìn)行預(yù)設(shè)的操作處理并在注冊(cè)中心對(duì)應(yīng)異常任務(wù)的狀態(tài)修改。本發(fā)明通過采用單一部署執(zhí)行和批量部署執(zhí)行的雙重模式，不但可以對(duì)單個(gè)任務(wù)進(jìn)行注冊(cè)也可以對(duì)現(xiàn)有的流式j(luò)ob進(jìn)行批量部署注冊(cè)可以有效的減少運(yùn)維工程師的工作量和操作復(fù)雜度。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地，涉及流式任務(wù)自動(dòng)化監(jiān)控系統(tǒng)及方法。尤其地，涉及MAFJ在工業(yè)大數(shù)據(jù)流任務(wù)自動(dòng)化監(jiān)控重啟中的應(yīng)用。

背景技術(shù)

隨著大數(shù)據(jù)的發(fā)展，人們對(duì)大數(shù)據(jù)的處理的工具也越來越豐富，作為目前最受歡迎的流式處理框架flink，自然也是在各個(gè)領(lǐng)域中被引用，flink的實(shí)時(shí)計(jì)算能力也是在各種場(chǎng)景中表現(xiàn)優(yōu)異，在工業(yè)大數(shù)據(jù)領(lǐng)域中，也漸漸被應(yīng)用起來。然而，目前對(duì)技術(shù)的應(yīng)用普遍是對(duì)業(yè)務(wù)的出來和數(shù)據(jù)的整合，并沒有對(duì)其本身任務(wù)的一種調(diào)度系統(tǒng)。

現(xiàn)市場(chǎng)上的flink大數(shù)據(jù)架構(gòu)大多數(shù)習(xí)慣于對(duì)處理數(shù)據(jù)的監(jiān)控，反而對(duì)其本身的狀態(tài)的監(jiān)控并不嚴(yán)謹(jǐn)，所以當(dāng)任務(wù)出現(xiàn)異常，解決問題會(huì)變得復(fù)雜和緩慢，同時(shí)，也對(duì)實(shí)際的業(yè)務(wù)數(shù)據(jù)存在一定的影響，如果不能及時(shí)解決，則會(huì)帶來更大的損失。MAFJ系統(tǒng)是為了實(shí)現(xiàn)簡(jiǎn)潔化部署，任務(wù)的注冊(cè)和異常發(fā)現(xiàn)服務(wù)，以及對(duì)異常任務(wù)進(jìn)行報(bào)警和重啟的功能，實(shí)現(xiàn)自動(dòng)化管理的功能，同時(shí)，出現(xiàn)難以解決的異常狀況，報(bào)警功能也可以找到相關(guān)的負(fù)責(zé)人進(jìn)行手動(dòng)解決，保證了最短時(shí)間內(nèi)解決問題，減少其帶來的損失。

經(jīng)對(duì)現(xiàn)有技術(shù)進(jìn)行檢索，發(fā)現(xiàn)如下相關(guān)檢索結(jié)果。

相關(guān)檢索結(jié)果1：

申請(qǐng)?zhí)枺?01911251688.X

名稱：一種基于flink的微服務(wù)性能實(shí)時(shí)監(jiān)控方法

該發(fā)明公開一種基于flink的微服務(wù)性能實(shí)時(shí)監(jiān)控方法，包括以下步驟S1：性能日志埋點(diǎn)；S2：日志采集；S3：聚合計(jì)算；S4：結(jié)果存儲(chǔ)。本發(fā)明對(duì)微服務(wù)架構(gòu)涉及到的應(yīng)用服務(wù)調(diào)用，進(jìn)行全方位監(jiān)控，任何一個(gè)組件出現(xiàn)問題，就可以通過監(jiān)控看出出問題的源頭在哪。日志埋點(diǎn)時(shí)，通過異步單線程進(jìn)行寫入，避免了對(duì)應(yīng)用性能造成影響。在應(yīng)用層進(jìn)行一分鐘內(nèi)的監(jiān)控?cái)?shù)據(jù)的統(tǒng)計(jì)，避免造成了過多的資源浪費(fèi)。本發(fā)明使用flink計(jì)算引擎，能夠非常實(shí)時(shí)地計(jì)算出結(jié)果，使用clickhouse作為數(shù)據(jù)存儲(chǔ)，能支持集群部署，提供穩(wěn)定性，可靠性，并且不依賴其他組件，更加簡(jiǎn)單，不易出問題；查詢，批量寫入性能高；壓縮比高，能為企業(yè)降低成本。

技術(shù)要點(diǎn)比較：

其系統(tǒng)是對(duì)日志文件的內(nèi)容進(jìn)行實(shí)時(shí)監(jiān)控，使用了微服務(wù)技術(shù)以及clickhouse進(jìn)行存儲(chǔ)，是對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控的系統(tǒng)，而本系統(tǒng)是對(duì)flink的任務(wù)進(jìn)行實(shí)時(shí)的監(jiān)控，存在心跳機(jī)制，可以實(shí)時(shí)的監(jiān)控到任務(wù)的異常狀態(tài)，相比較于這種處理業(yè)務(wù)的系統(tǒng)，MAFJ監(jiān)控是側(cè)重于其去處理業(yè)務(wù)數(shù)據(jù)的任務(wù)的維護(hù)，主要可以降低風(fēng)險(xiǎn)，實(shí)現(xiàn)自動(dòng)化告警重啟，極大的降低的運(yùn)維成本和系統(tǒng)架構(gòu)異常而帶來的損失。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種流式任務(wù)自動(dòng)化監(jiān)控系統(tǒng)及方法。

根據(jù)本發(fā)明提供的一種流式任務(wù)自動(dòng)化監(jiān)控系統(tǒng)，包括

注冊(cè)服務(wù)模塊：對(duì)流式任務(wù)進(jìn)行注冊(cè)；

發(fā)現(xiàn)服務(wù)模塊：監(jiān)聽正常的任務(wù)，發(fā)現(xiàn)了異常情況時(shí)，進(jìn)行預(yù)設(shè)的操作處理并在注冊(cè)中心對(duì)應(yīng)異常任務(wù)的狀態(tài)修改；

告警重啟系統(tǒng)：輪詢注冊(cè)中心的非RUNNING狀態(tài)的任務(wù)。

優(yōu)選地，所述注冊(cè)服務(wù)模塊包括兩種部署和執(zhí)行模式：

單個(gè)部署執(zhí)行模式：工程師完成相應(yīng)的流式任務(wù)的開發(fā)并按照規(guī)定的注冊(cè)參數(shù)將自己的job注冊(cè)到注冊(cè)中心；

批量部署執(zhí)行模式：運(yùn)維工程師將所有現(xiàn)有的流式任務(wù)進(jìn)行統(tǒng)一管理統(tǒng)一注冊(cè)。