[發明專利]一種分布式數據庫運維動態閾值告警方法及裝置

在審

• 申請號: 202110317794.4
• 申請日: 2021-03-25
• 公開（公告）號: CN112882954A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 吳思璇;楊以恒;孫興艷
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

1.一種分布式數據庫運維動態閾值告警方法，其特征在于：包括以下步驟：

第一步，基于極值理論建立閾值模型

使用峰值超過臨界值定理和極大似然估計擬合尾端分布建立閾值模型并實時更新，對數據庫指標進行動態跟蹤，計算出對應時間點的閾值，實時計算并更新指標的上下限約束范圍，并輸出閾值信息；

第二步，數據采集與模型校準

對數據庫指標模型原始信息輸入進行收集處理，轉換為閾值模型匹配輸入格式，對各節點的閾值模型分別進行校準；

第三步，數據檢測與異常報警

對比各個節點實時的監控指標數據與計算出的當前閾值上下限約束，如果超出閾值上下限約束范圍，則進行告警并處理。

2.根據權利要求1所述的分布式數據庫運維動態閾值告警方法，其特征在于：所述第一步中，尾端分布符合廣義帕累托分布，表達式如下：

其中，x為采集到的數據庫指標數據，X代表獨立同分布的隨機變量，t為用戶預設的臨界值，γ與σ分別為分布的形狀參數與位置參數，P為分布標識符；

閾值z的計算公式為：

其中，Nt為獨立同分布的隨機變量X中大于臨界值t的個數，分別為尾端分布的形狀參數γ與位置參數σ的估計值，q為用戶預設的概率值，n為流式數據點的個數。

3.根據權利要求2所述的分布式數據庫運維動態閾值告警方法，其特征在于：所述用戶預設的臨界值t采用第98個百分位值。

4.根據權利要求2所述的分布式數據庫運維動態閾值告警方法，其特征在于：所述用戶預設的概率值q在1e-3至1e-5之間。

5.根據權利要求2所述的分布式數據庫運維動態閾值告警方法，其特征在于：所述形狀參數γ與位置參數σ通過極大似然估計估計得到，其對數極大似然logL(γ，σ)計算公式如下：

其中，Nt為隨機變量X中大于臨界值t的個數，Yi為超出臨界值t的具體值，定義為Y_i＝X_i-t，X_i為相同時間的流式數據點，通過將公式(3)取對數求導，并將求導后的式子設置0，求解即可得到形狀參數γ與位置參數σ的估計值

6.根據權利要求1所述的分布式數據庫運維動態閾值告警方法，其特征在于：所述第二步中，將各節點的數據庫指標信息分為校準數據和檢測數據，尾端數據作為檢測數據，排在尾端數據之前的頭部數據作為校準數據，校準數據的個數上限由用戶進行預設；

數據采集包括校準階段數據采集，各節點校準階段和逐條數據采集階段；

所述校準階段數據采集是指逐條采集存儲數據庫指標信息，待采集數量達到預設的上限后對閾值模型進行校準；

所述各節點校準階段是針對各個節點進行閾值模型的校準，當節點的校準數據采集完成后，則針對該節點數據進行閾值模型的校準，使用收集到的校準數據點以及用戶預設的值進行初步擬合尾端分布，計算出初始閾值；

當各節點的閾值模型校準完成過后，逐條采集數據庫指標中的檢測數據并解析處理，提交到對應節點校準后的閾值模型。

7.根據權利要求5所述的分布式數據庫運維動態閾值告警方法，其特征在于：所述第二步中；使用收集到的校準數據點以及用戶預設的t，q值進行初步擬合尾端分布，通過極大似然估計MLE得到初始預估值并通過公式(2)計算得到初始閾值z。

8.根據權利要求5所述的分布式數據庫運維動態閾值告警方法，其特征在于：所述第三步中，對校準數據之后的流式數據進行異常判斷，同時判斷是否更新閾值；

若新一時刻的流式數據點超出上一時刻計算出來的閾值邊界，則判定為異常，且不用于閾值的更新；

若新一時刻的流式數據點超出用戶預設的臨界值t，但并未超出上一時刻的閾值邊界，則利用該流式數據點更新公式(3)中的Nt和Yi，得到新的估計值從而根據公式(1)得到新的閾值。

9.一種基于權利要求1～8所述的分布式數據庫運維動態閾值告警方法的告警裝置，其特征在于：包括：

數據采集模塊，輸入來源為Kafka topic中的消息，輸入格式為JSON，利用開源組建Faust，啟動屬于閾值模型的Kafka Consumer對接實際生產情況下數據庫的指標輸出，在Python環境下實現對逐條輸入消息的解析，獲知該消息中閾值模型所需的指標信息以及對應節點信息；

基于極值理論的閾值模型計算模塊，使用峰值超過臨界值定理和極大似然估計擬合尾端分布并實時更新，計算出對應時間點的閾值，對校準數據之后的流式數據進行異常判斷，同時判斷是否更新閾值，從而完成動態告警任務；

異常報警模塊，實時進行異常指標點的結果呈現，提醒用戶發現問題并為用戶提供調優方向。