[發明專利]實時數據處理的監控方法、裝置、系統、設備及存儲介質

在審

• 申請號: 201711213027.9
• 申請日: 2017-11-28
• 公開（公告）號: CN107992394A
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 陳東沂;蔡適擇;陳敏;陳軍;張強
• 申請（專利權）人: 順豐科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;H04L12/26;H04L29/08
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙)11435
• 代理人: 郭棟梁

1.一種實時數據處理的監控方法，其特征在于，所述方法包括：

監控消息隊列，并獲取消息隊列的實時業務數據處理情況；

向至少一個處理端發送所述實時業務數據處理情況，由所述至少一個處理端對所述實時業務數據處理情況進行存儲及上報。

2.如權利要求1所述的方法，其特征在于，所述實時業務數據處理情況，具體包括如下之一或組合：

消息隊列的數據積壓情況；

生產消息的偏移量；

消費消息的偏移量；

已經消費的消息數量；

已經消費的消息所占用的空間。

3.如權利要求1所述的方法，其特征在于，還包括：

確定消息隊列正常處理業務數據時，向處理端發送心跳信號。

4.如權利要求1所述的方法，其特征在于，所述消息隊列具體為流式處理框架Storm中的卡夫卡Kafka消息隊列。

5.如權利要求4所述的方法，其特征在于，所述監控消息隊列，并獲取消息隊列的實時業務數據處理情況，具體包括：

通過分布式系統的協調系統Zookeeper地址連接到Kafka集群的代理Broker節點，獲取Kafka消息隊列的實時業務數據處理情況。

6.如權利要求1所述的方法，其特征在于，由所述至少一個處理端對所述實時業務數據處理情況進行存儲及上報，具體包括：

普通處理端將所述實時業務數據處理情況存儲到文件系統中；

監控上報處理端將所述實時業務數據處理情況進行統計匯總，并上報至相應的監控平臺。

7.一種實時數據處理的監控裝置，其特征在于，所述裝置包括：

獲取單元，用于監控消息隊列，并獲取消息隊列的實時業務數據處理情況；

發送單元，用于向至少一個處理端發送所述實時業務數據處理情況，由所述至少一個處理端對所述實時業務數據處理情況進行存儲及上報。

8.如權利要求7所述的裝置，其特征在于，所述實時業務數據處理情況，具體包括如下之一或組合：

消息隊列的數據積壓情況；

生產消息的偏移量；

消費消息的偏移量；

已經消費的消息數量；

已經消費的消息所占用的空間。

9.如權利要求7所述的裝置，其特征在于，所述發送單元還用于：

在確定消息隊列正常處理業務數據時，向處理端發送心跳信號。

10.一種實時數據處理的監控系統，其特征在于，所述系統包括：監控裝置和至少一個處理端，其中：

監控裝置，用于監控消息隊列，并獲取消息隊列的實時業務數據處理情況，向至少一個處理端發送所述實時業務數據處理情況；

處理端，用于對所述實時業務數據處理情況進行存儲及上報。

11.如權利要求10所述的系統，其特征在于，所述至少一個處理端具體包括：

至少一個普通處理端和至少一個監控上報處理端，其中：

普通處理端，用于將所述實時業務數據處理情況存儲到文件系統中；

監控上報處理端，用于將所述實時業務數據處理情況進行統計匯總，并上報至相應的監控平臺。

12.一種設備，包括處理器和存儲器；其特征在于：

所述存儲器包含可由所述處理器執行的指令以使得所述處理器執行如權利要求1-6任一所述的方法。

13.一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序用于實現如權利要求1-6任一所述的方法。