[發明專利]一種面向工業大數據的異構數據庫的監控系統及監控方法

有效

• 申請號: 201810026313.2
• 申請日: 2018-01-11
• 公開（公告）號: CN108170832B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 石勝飛;高宏;王宏志;劉游;李克果
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25;G06F16/28
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 孫莉莉

本發明提出了一種面向工業大數據的異構數據庫的監控系統及監控方法，包括異構數據庫系統、中間件服務器和Web監控平臺；所述異構數據庫系統與所述中間件服務器相互數據通信，所述中間件服務器通過數據庫與所述Web監控平臺相互數據通信。本發明使用可視化的交互模式結合學習成本較低的數據解析格式，可以讓管理者自行快速地接入新的數據源，降低了系統二次開發的次數，提高了線上信息的實用性和穩定性。

技術領域

本發明屬于計算機軟件技術領域，特別是涉及一種面向工業大數據的異構數據庫的監控系統及監控方法。

背景技術

隨著工業化和信息化的不斷發展，工業領域的數據積累到一定數量級，超出了傳統技術的處理能力，就需要借助大數據技術來提升處理能力和效率，因此工業大數據為工業領域的海量數據提供了技術和管理支撐。工業大數據的主要來源包括生產經營相關的業務數據、設備物聯數據和外部互聯網數據，因此就產生多種相互隔離的異構數據庫(時序數據庫，圖數據庫、關系型數據庫和非結構化數據庫等)。由于異構數據庫的數據結構和數據庫管理系統各不相同，造成了工業大數據下異構數據庫難以通過一種的監控系統進行監控。

現有的數據庫監控系統有很多，例如MySQLMTOP、Lepus、RedisLive等，每種監控系統在其所在專注的領域內，還是比較受歡迎的。MySQLMTOP是針對MySQL的監控工具，具有專一性；Lepus能對MySQL、Oracle、Mongodb和Redis數據庫進行監控，但是Lepus擴展性差，難以添加對其他數據類型數據庫的監控；RedisLive是針對Redis的監控系統，也具有專一性。為了更好的解決工業大數據下異構數據存儲和業務處理問題，當下也有不少的機構和高校自行開發高性能、高并發的數據庫，這類自行開發的數據庫也是需要監控系統。總之，目前存在的監控系統具有對某種或者幾種特定的數據庫進行監控，可擴展性差，缺少對多種異構數據庫的監控系統。

發明內容

本發明為了解決現有的技術問題，提出一種面向工業大數據的異構數據庫的監控系統及監控方法。

本發明的目的通過以下技術方案實現：一種面向工業大數據的異構數據庫的監控系統，包括異構數據庫系統、中間件服務器和Web監控平臺；所述異構數據庫系統與所述中間件服務器相互數據通信，所述中間件服務器通過數據庫與所述Web監控平臺相互數據通信；所述異構數據庫系統包括若干個數據庫和REST數據接口；所述中間件服務器包括消息中間件、監控與消費策略模塊、路由策略模塊和第一持久化模塊；所述Web監控平臺包括可視化圖形用戶界面、第二持久化模塊、定時任務模塊和數據庫注冊器。

進一步地，所述若干個數據庫包括關系型數據庫、圖數據庫、時間序列數據庫和非結構化數據庫；每一個新加入到異構數據庫系統中的數據庫均需要進行數據庫注冊；異構數據庫系統將各個數據庫提供的指標信息主動推送到中間件服務器中的消息中間件。

進一步地，所述消息中間件用于接收各個數據庫提供的指標信息；

所述監控與消費策略模塊用于根據數據庫注冊時提供的信息來進行指標數據的消費；

所述路由策略模塊用于根據用戶自定的策略決定指標數據的去向；

所述第一持久化模塊用于對指標數據進行存儲。

進一步地，所述可視化圖形用戶界面用于實時監控并顯示各個數據庫的指標信息和變化趨勢；

所述數據庫注冊器用于當用戶在可視化圖形用戶界面中添加提供REST接口的數據庫時，數據庫注冊器驗證數據庫信息是否完整以及數據是否解析成功，并將驗證后的信息進行存儲；

所述定時任務模塊用于周期性地對提供REST接口的數據庫的數據進行主動抓取；

所述第二持久化模塊用于將主動抓取的數據進行存儲。

進一步地，所述指標信息包括指標分類信息、指標間隔和指標數值類型。