[發明專利]一種數據源連接狀態監控裝置與方法

有效

• 申請號: 202011576061.4
• 申請日: 2020-12-28
• 公開（公告）號: CN112667472B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 黃海明;高東升;胡高坤
• 申請（專利權）人: 武漢達夢數據庫股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/21;G06F16/25;G06F9/48
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

本發明提供了一種數據源連接狀態監控裝置與方法，裝置包括數據源狀態監聽器和數據源狀態管理器，數據源狀態管理器包括數據源狀態倉庫、啟停器和刷新模塊；數據源狀態倉庫中設有多個狀態存儲器，每個狀態存儲器存儲一類數據源的連接狀態；啟停器為每類數據源創建一個狀態刷新任務并放入延時隊列；刷新模塊控制隊列中每個狀態刷新任務周期性對數據源連接狀態進行刷新，并在對應狀態存儲器中更新；當監聽器監聽到數據源狀態監控客戶端的刷新請求時，將數據源狀態倉庫返回的數據源連接狀態轉發給數據源狀態監控客戶端。本方案實現了在盡可能降低系統資源消耗的前提下對多數據源連接狀態進行監控，實現實時性與資源消耗的平衡。

【技術領域】

本發明涉及數據監控技術領域，具體涉及一種數據源連接狀態監控裝置與方法。

【背景技術】

數據交換系統(以下簡稱ETL)是一種具備數據抽取(Extract)、清洗轉換(Transform)和數據裝載(Load)功能的數據處理系統，數據源對象是數據交換系統在數據讀取或者寫入時需要連接的外部數據，這些數據源的連接信息以元數據的形式存儲，供系統隨時訪問。在數據交換系統中，使用者需要能夠方便地查看部分或全部數據源是否可以正常連接，或者導致不可連接的故障原因以便排除故障，因而系統中需要有一個功能模塊對數據源對象的連接狀態進行記錄和維護，存儲并刷新各數據源在當前環境中是否可連接、不可連接的故障原因等方面的信息。

對數據源連接狀態進行監控是通過向數據源服務器發送連接請求，并根據返回的結果來判斷該數據源是否可連接或解析導致數據源不可連接的故障原因的過程，是一種連接測試操作。對不同類型的數據源進行連接測試的方式不同，對同類型的數據源進行連接測試的方式雖然相同，但所耗費的時間和資源也不同；另外，進行連接測試是一種非常耗時耗資源的操作，而在實際使用數據交換系統時，經常會存在大量不同類型的數據源。在這種大批量、不同種類數據源的連接狀態監控場景下，如果無條件、不間斷地對所有數據源進行連接測試，會對系統的服務器造成很大壓力。

傳統監控技術一般采取如下兩種機制對數據源連接狀態進行監控：

1)線性輪詢方式，即輪流依次對現有的每個數據源進行連接測試。這種方式對資源消耗較少，但是存在實時性不足的問題，且當某個數據源連接測試過程耗時較長時，會遲滯后續所有數據源的連接測試過程；

2)并發方式，即為每個數據源啟動一個線程進行連接測試。這種方式的刷新效率較高，但是會對系統造成很大壓力。

由此可知，無論是線性輪詢方式還是并發方式均難以實現實時性與資源消耗之間的平衡；另外，傳統監控技術需要不間斷地對大量不同種類數據源的連接狀態進行持續監控，無法根據實際情況進行調整，導致不必要的系統資源消耗，造成系統的內存和CPU資源浪費。

鑒于此，克服上述現有技術所存在的缺陷是本技術領域亟待解決的問題。

【發明內容】

本發明需要解決的技術問題是：

在實際使用數據交換系統時會存在大量不同類型的數據源，傳統監控技術需要不間斷地對所有數據源進行連接測試，無法根據實際情況進行調整，造成系統的內存和CPU資源浪費，而且無論是線性輪詢方式還是并發方式均難以實現實時性與資源消耗的平衡。

本發明通過如下技術方案達到上述目的：

第一方面，本發明提供了一種數據源連接狀態監控裝置，包括數據源狀態監聽器和數據源狀態管理器，所述數據源狀態監聽器用于監聽數據源狀態監控客戶端的連接請求和刷新請求，并根據請求調度所述數據源狀態管理器的工作；

所述數據源狀態管理器包括數據源狀態倉庫、啟停器和刷新模塊；

所述數據源狀態倉庫中設有多個狀態存儲器，每個狀態存儲器用于存儲一類數據源的連接狀態；