[發明專利]實時數據處理的監控方法、裝置、系統、設備及存儲介質

在審

• 申請號: 201711213027.9
• 申請日: 2017-11-28
• 公開（公告）號: CN107992394A
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 陳東沂;蔡適擇;陳敏;陳軍;張強
• 申請（專利權）人: 順豐科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;H04L12/26;H04L29/08
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙)11435
• 代理人: 郭棟梁

技術領域

本公開一般涉及計算機領域，具體涉及數據處理領域，尤其涉及一種實時數據處理的監控方法、裝置、系統、設備及存儲介質。

背景技術

隨著IT信息技術的迅猛發展，互聯網產業應用系統規模不斷擴大，與此同時產生了海量的業務數據。如何對爆炸性增長的數據進行實時高效的處理成為各大互聯網公司當前面臨的難題。Storm(實時處理框架)+Kafka(消息隊列)作為實時數據處理技術的典型組合，在大數據實時處理過程體現了強大的計算能力，有效地解決實時大數據處理的問題。

然而，在Storm+Kafka的組合應用當中，目前缺乏行之有效的數據上報機制，在數據處理過程中難以對數據流進行實時的監控和預警，不能及時在出現數據積壓等異常時通知應用運維人員通過擴增資源等方式來解決問題。

業界雖然有Gangia、Nagios等開源監控工具，但Ganglia只適合監控大量節點，并不適合做主動上報預警；Nagios可以實現報警，但監控功能有限，兩者都屬于被動式的監控預警，難以應用在Storm+Kafka中，對數據流進行實時的監控。

發明內容

鑒于現有技術中的上述缺陷或不足，期望提供一種實時數據處理的監控方法、裝置、系統、設備及存儲介質，以實現對實時數據處理過程中的業務數據情況進行實時監控。

第一方面，本發明實施例提供一種實時數據處理的監控方法，所述方法包括：

監控消息隊列，并獲取消息隊列的實時業務數據處理情況；

向至少一個處理端發送所述實時業務數據處理情況，由所述至少一個處理端對所述實時業務數據處理情況進行存儲及上報。

進一步，所述實時業務數據處理情況，具體包括如下之一或組合：

消息隊列的數據積壓情況；

生產消息的偏移量；

消費消息的偏移量；

已經消費的消息數量；

已經消費的消息所占用的空間。

優選的，還包括：

確定消息隊列正常處理業務數據時，向處理端發送心跳信號。

進一步，所述消息隊列具體為流式處理框架Storm中的卡夫卡Kafka消息隊列。

更進一步，所述監控消息隊列，并獲取消息隊列的實時業務數據處理情況，具體包括：

通過分布式系統的協調系統Zookeeper地址連接到Kafka集群的代理Broker節點，獲取Kafka消息隊列的實時業務數據處理情況。

優選的，所述至少一個處理端對所述實時業務數據處理情況進行存儲及上報，具體包括：

普通處理端將所述實時業務數據處理情況存儲到文件系統中；

監控上報處理端將所述實時業務數據處理情況進行統計匯總，并上報至相應的監控平臺。

第二方面，本發明實施例還相應提供一種實時數據處理的監控裝置，所述裝置包括：

獲取單元，用于監控消息隊列，并獲取消息隊列的實時業務數據處理情況；

發送單元，用于向至少一個處理端發送所述實時業務數據處理情況，由所述至少一個處理端對所述實時業務數據處理情況進行存儲及上報。

進一步，所述實時業務數據處理情況，具體包括如下之一或組合：

消息隊列的數據積壓情況；

生產消息的偏移量；

消費消息的偏移量；

已經消費的消息數量；

已經消費的消息所占用的空間。

優選的，所述發送單元還用于：

在確定消息隊列正常處理業務數據時，向處理端發送心跳信號。

第三方面，本發明實施例還相應提供一種實時數據處理的監控系統，所述系統包括：監控裝置和至少一個處理端，其中：

監控裝置，用于監控消息隊列，并獲取消息隊列的實時業務數據處理情況，向至少一個處理端發送所述實時業務數據處理情況；

處理端，用于對所述實時業務數據處理情況進行存儲及上報。

進一步，所述至少一個處理端具體包括：

至少一個普通處理端和至少一個監控上報處理端，其中：

普通處理端，用于將所述實時業務數據處理情況存儲到文件系統中；

監控上報處理端，用于將所述實時業務數據處理情況進行統計匯總，并上報至相應的監控平臺。

第四方面，本發明實施例還提供一種設備，包括處理器和存儲器；

所述存儲器包含可由所述處理器執行的指令以使得所述處理器執行如第一方面中所述的方法。