[發明專利]一種大數據評分系統穩定性監控方法

有效

• 申請號: 202110489346.2
• 申請日: 2020-07-02
• 公開（公告）號: CN113190426B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 陳建;蘇明富;王樹倫
• 申請（專利權）人: 北京睿知圖遠科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F11/30
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 朱健

1.一種大數據評分系統穩定性監控方法，其特征在于，包括：

采集大數據評分系統的評分日志；

將采集的評分日志通過預設消息隊列進行解耦傳輸到監控中心；

所述監控中心對接收到的評分日志進行預處理和預轉化；

將預處理和預轉化后的評分日志導入查詢數據庫，同時，所述監控中心通過輪循查詢數據的方式對導入后的查詢數據庫進行監控；

采集大數據評分系統的評分日志的之前，還包括：

當所述大數據評分系統產生新日志時，同步捕捉所述大數據評分系統的硬件信息，所述硬件信息與產生所述新日志的配置硬件相關；

同時，同步捕捉所述大數據評分系統的軟件信息，所述軟件信息與產生所述新日志的配置軟件相關；

獲取所述配置硬件和配置軟件的周期性以及周期變化規律；

將所述周期性以及周期變化規律進行時間拆分處理，獲得拆分序列；

獲取與所述新日志相關的拆分序列，并對所述新日志以及相關的拆分序列進行融合處理，判斷所述新日志與相關的拆分序列是否一致；

若一致，將所述新日志和相關的拆分序列同步導入異常檢測模型中，判斷所述新日志是否存在異常；

若存在，進行報警提醒；

否則，將所述新日志進行保留；

若不一致，將所述新日志和相關的拆分序列異步導入異常檢測模型中，并獲得對應的第一檢測結果和第二檢測結果；

根據所述第一檢測結果和第二檢測結果，判斷異常檢測點，并將所述異常檢測點傳輸到日志修正模型中，獲得修正方案；

同時，基于所述修正方案，對所述新日志進行修正，并將修正后的新日志進行保留。

2.如權利要求1所述的穩定性監控方法，其特征在于，所述監控中心通過輪循查詢數據的方式對導入后的查詢數據庫進行監控之前，包括：

查詢與所述監控中心監控獲得的監控樣本相關的樣本數據指標；

獲取所述樣本數據指標的指標結果，基于所述指標結果判斷所述樣本數據指標是否異常；

若異常，基于所述監控中心，向預先配置好的目標員工的警示端發送第一警示指令，所述警示端執行與第一警示指令相關的第一警示提醒；

否則，基于所述樣本數據指標，提取監控指標。

3.如權利要求1所述的穩定性監控方法，其特征在于，采集大數據評分系統的評分日志的過程中包括：

基于時間戳，實時監測所述大數據評分系統產生的評分日志；

對所述評分日志的數據容量進行判斷，當所述數據容量到達預設容量范圍時，將對應的評分日志存儲傳輸到監控中心；

當所述數據容量小于預設容量范圍對應的最小容量時，基于所述時間戳，繼續實時監測所述大數據評分系統產生的評分日志；

當所述數據容量大于預設容量范圍對應的最大容量時，判定傳輸失敗，并向預先配置好的目標員工的警示端發送第二警示指令，所述警示端執行與第二警示指令相關的第二警示提醒。

4.如權利要求1所述的穩定性監控方法，其特征在于，所述監控中心通過輪循查詢數據的方式對導入后的查詢數據庫進行監控之前，還包括：

向所述監控中心進行監控規則配置，且監控規則配置步驟包括：

配置監控名稱到待監控數據庫，并將名稱配置信息傳輸到所述監控中心，所述名稱配置信息包括：監控數據庫以及與待監控數據庫對應的待監控名稱；

向配置有監控名稱的待監控數據庫配置監控維度，并根據所述監控維度從對應的評分日志中提取維度字段，并構成維度分組；

確定所述維度分組對應的基準數據量，當所述基準數據量大于預設數據量時，所述監控中心基于預設計算方式，對所述維度分組進行監控計算；

當基于預設計算方式，對所述維度分組進行監控計算時，計算獲得所述維度分組的基準值，并根據所述基準值，配置相關的基準指標，并對配置的所述基準指標進行存儲；

其中，所述待監控數據庫中存儲的數據源與大數據評分系統的評分日志相關。

5.如權利要求4所述的穩定性監控方法，其特征在于，

所述預設數據量是基于歷史監控數據庫確定的。

6.如權利要求4所述的穩定性監控方法，其特征在于，所述監控計算是基于自定義與所述待監控數據庫相關的直方圖的分位數和自定義區間占比兩種方式進行自定義基準分析來實現的；

在自定義基準分析之后，基于直方圖計算規則，計算區間占比和分位數；

其中，通過接收修改指令，對所述直方圖進行編輯修改，并基于直方圖計算規則，重新計算與所述直方圖相關的區間占比和分位數。