[發明專利]基于流式計算的數據監控方法及裝置

有效

• 申請號: 201611154103.9
• 申請日: 2016-12-14
• 公開（公告）號: CN106649670B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 李鵬;于洋;郭振強
• 申請（專利權）人: 北京五八信息技術有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/182
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉丹;黃健

本發明提供了一種基于流式計算的數據監控方法及裝置，數據監控方法包括：通過分布式發布訂閱消息系統KAFKA獲取服務被調用的日志信息；采用分布式流式處理方法Spark streaming對日志信息進行分析處理，獲得日志明細信息和日志匯總信息；將所述日志明細信息寫入到分布式文件系統HDFS中，并將所述日志匯總信息存儲至關系型數據庫管理系統MYSQL中。本發明提供的基于流式計算的數據監控方法及裝置，有效地解決了現有技術中存在的會對MySQL數據庫造成巨大的壓力，同時也會減緩計算速度和數據的顯示速度的問題，提高了數據處理效率，同時減緩了對MySQL數據庫造成的數據壓力，進而提高了該數據監控方法應用的穩定可靠性，有利于市場的推廣與應用。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種基于流式計算的數據監控方法及裝置。

背景技術

隨著互聯網技術的飛速發展，網絡業務量不斷增大，業務方的不斷增多，使得服務被調用的次數明顯增大，進而對網絡的大數據處理提出了較高要求；現有技術中，通過storm流式計算框架接收服務請求日志信息，經由storm做簡單處理后，將明細數據寫入到MySQL中。

然而，在實施本技術方案的過程中，發現現有技術存在以下缺陷：由于storm接收數據的方式只支持阻塞方式的消息隊列，消息只能通過實時的接收，在訪問量暴增的情況下，storm對于MySQL的實時寫入壓力會同時暴增，會對MySQL數據庫造成巨大的壓力，同時也會減緩計算速度和數據的顯示速度。

發明內容

本發明實施例提供一種基于流式計算的數據監控方法及裝置，可以有效克服現有技術中存在的會對MySQL數據庫造成巨大的壓力，同時也會減緩計算速度和數據的顯示速度的問題。

本發明實施例的一方面提供了一種基于流式計算的數據監控方法，包括：

通過分布式發布訂閱消息系統KAFKA獲取服務被調用的日志信息；

采用分布式流式處理方法Spark streaming對日志信息進行分析處理，獲得日志明細信息和日志匯總信息；

將所述日志明細信息寫入到分布式文件系統HDFS中，并將所述日志匯總信息存儲至關系型數據庫管理系統MYSQL中。

如上所述的基于流式計算的數據監控方法，所述通過分布式發布訂閱消息系統KAFKA獲取服務被調用的日志信息，具體包括：

通過預設的監控埋點AGENT從服務端中獲取服務被調用的日志信息；

將所述日志信息寫入到所述KAFKA中預先創建的TOPIC中。

如上所述的基于流式計算的數據監控方法，所述采用分布式流式處理方法Sparkstreaming對日志信息進行分析處理，具體包括：

采用預設的匯總算法對所述日志信息進行分析處理，獲得所述日志匯總信息。

如上所述的基于流式計算的數據監控方法，所述采用分布式流式處理方法Sparkstreaming對日志信息進行分析處理，具體包括：

獲取KAFKA中所述TOPIC的TOPIC信息；

根據所述TOPIC信息并按照預設的采集周期從所述KAFKA中拉取相應的所述日志明細信息。

如上所述的基于流式計算的數據監控方法，在將所述日志匯總信息存儲至關系型數據庫管理系統MYSQL中之后，所述方法還包括：

接收用戶發送的查詢指令，所述查詢指令中包括查詢時間；

根據所述查詢指令從所述MYSQL中查找與所述查詢時間相對應的日志匯總信息，并顯示所查找到的日志匯總信息。

本發明的又一方面提供了一種基于流式計算的數據監控裝置，包括：