[發明專利]一種HBase系統監控方法及HBase系統

在審

• 申請號: 201810348316.8
• 申請日: 2018-04-18
• 公開（公告）號: CN108897748A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 童晨曦;黃昌明;蔡適擇
• 申請（專利權）人: 順豐科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 郭棟梁

本申請公開了一種HBase系統監控方法及HBase系統，涉及數據庫領域，通過數據存儲塊服務器在服務層進行域的讀寫請求統計，在通過數據源端對域的讀寫請求統計進行數據采集，以及數據匯集端對數據源端采集的數據進行匯總獲得表級監控數據并公布，實現對HBase系統的表級監控，進而及時定位到業務系統問題。

技術領域

本公開一般涉及數據庫領域，具體涉及分布式數據庫，尤其涉及一種HBase系統監控方法及HBase系統。

背景技術

隨著公司業務規模不斷擴大，對數據存儲要求也越來越大，大量業務場景開始考慮數據存儲的水平擴展，使得存儲服務可以快速執行客戶端發來的請求，而目前的關系型數據庫更專注一臺機器。海量數據量存儲成為提升應用性能的瓶頸，單臺機器無法負載海量的數據處理，隨之而來的出現了很多的分布式存儲解決方案，HBase就是其中之一。

HBase是一個開源的非關系型分布式數據庫(NoSQL)，它參考了Google的BigTable建模，基于LSM存儲引擎，運行于HDFS文件系統之上，因而對大量數據寫入，海量數據存儲帶有天然的優勢，同時，HBase采用Java語言開發。它是Apache軟件基金會頂級項目之一，作為Hadoop生態圈組成里重要的的一部分，提供PB規模數量級的實時存儲、查詢等服務。

在順豐科技，線上HBase集群機器已經達到上百臺，在HBase現有的官方監控指標中，通過監控、預警很難做到對問題的精準分析和定位。因而，往往出現問題都很難定位到是哪個業務系統出現問題，往往在溝通上就耗費很大的成本，還可能由于溝通的信息不對稱或則時間延誤導致更嚴重的連鎖問題。

發明內容

鑒于現有技術中的上述缺陷或不足，期望提供一種HBase系統監控方法及HBase系統，以實現及時定位到業務系統問題。

第一方面，本發明實施例提供一種HBase系統監控方法，包括：

數據存儲塊服務器在服務層進行域的讀寫請求統計；

數據源端對所述域的讀寫請求統計進行數據采集；

數據匯集端對所述數據源端采集的數據進行匯總獲得表級監控數據并公布。

進一步，所述數據匯集端對所述數據源端采集的數據進行匯總獲得表級監控數據并公布，具體包括：

數據匯集端對所述數據源端采集的數據進行匯總獲得表級監控數據；

數據匯集端通過接口公布所述表級監控數據。

更進一步，所述數據匯集端通過接口公布所述表級監控數據，具體包括：

數據匯集端通過Java管理擴展接口公布所述表級監控數據。

更進一步，所述數據匯集端對所述數據源端采集的數據進行匯總獲得表級監控數據，具體包括：

數據匯集端定時獲取數據源端采集的數據；

數據匯集端對獲取的域的讀寫請求統計數據匯總為表級監控數據。

更進一步，所述數據源端采集的數據，具體為：

Metrics度量數據塊。

第二方面，本發明實施例提供一種HBase系統，包括：

數據存儲塊服務器，用于在服務層進行域的讀寫請求統計；

數據源端，用于對所述域的讀寫請求統計進行數據采集；

數據匯集端，用于對所述數據源端采集的數據進行匯總獲得表級監控數據并公布。

進一步，所述數據匯集端具體用于：

對所述數據源端采集的數據進行匯總獲得表級監控數據；