[發明專利]數據監控方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011528795.5
• 申請日: 2020-12-22
• 公開（公告）號: CN112559295A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 葉文清
• 申請（專利權）人: 平安銀行股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及大數據領域，揭露了一種數據監控方法，包括：獲取歷史數據集及實時數據集，從實時數據集中篩選出異常數據，得到異常實時數據集和正常實時數據集；基于預設的時間戳，采集歷史數據集的異常歷史數據變化量，根據異常歷史數據變化量，配置歷史數據集的異常歷史數據傳輸幅度值；基于時間戳，采集異常實時數據集的異常實時數據變化量，根據異常實時數據變化量，配置異常實時數據集的異常實時數據傳輸幅度值，根據異常實時數據傳輸幅度值和異常歷史數據傳輸幅度值，執行正常實時數據集在業務系統中的傳輸。此外，本發明還涉及區塊鏈技術，所述數據監控任務可存儲于區塊鏈中。本發明可以提高數據監控的準確性。

技術領域

本發明涉及大數據領域，尤其涉及一種數據監控方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

在業務系統中，業務系統數據是通過每天大數據跑批來更新業務系統中的歷史數據，數據監控用于監控大數據跑批的過程中一些標準及規范不夠嚴格的數據，以防止這些標準及規范不夠嚴格的數據流入業務系統中，造成業務系統無法正常運行。

目前，數據監控通常采用數據字段級規則來監控并設置阻斷數據流入業務系統中，由于現有數據字段級粒度粗以及數據字段格式隨意性，會有可能把正常可用數據一起阻斷，從而影響數據監控的準確性。

發明內容

本發明提供一種數據監控方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于提高數據監控的準確性。

為實現上述目的，本發明提供的一種數據監控方法，包括：

獲取歷史數據集及實時數據集，從所述實時數據集中篩選出異常數據，得到異常實時數據集和正常實時數據集；

基于預設的時間戳，采集所述歷史數據集的異常歷史數據變化量，根據所述異常歷史數據變化量，配置所述歷史數據集的異常歷史數據傳輸幅度值；

基于所述時間戳，采集所述異常實時數據集的異常實時數據變化量，根據所述異常實時數據變化量，配置所述異常實時數據集的異常實時數據傳輸幅度值；

判斷所述異常實時數據傳輸幅度值是否大于所述異常歷史數據傳輸幅度值；

若所述異常實時數據傳輸幅度值大于所述異常歷史數據傳輸幅度值，則對所述正常實時數據集進行阻斷；

若所述異常實時數據傳輸幅度值不大于所述異常歷史數據傳輸幅度值，則將所述正常實時數據集傳輸至業務系統中。

可選地，所述從所述實時數據集中篩選出異常數據，得到異常實時數據集和正常實時數據集，包括：

篩選出所述實時數據集中的重復數據，得到第一異常實時數據集；

篩選出所述實時數據集中的異常值數據，得到第二異常實時數據集；

將所述第一異常實時數據集和所述第二異常實時數據集進行匯總，得到所述異常實時數據集；

從所述實時數據集中剔除所述異常實時數據集，得到正常實時數據集。

可選地，所述篩選出所述實時數據集中的重復數據，得到第一異常實時數據集，包括：

計算所述實時數據集中任意兩個實時數據的距離值，在所述實時數據集中任意兩個實時數據的距離值小于預設閾值時，篩選出任意一個實時數據作為第一異常實時數據，根據所述第一異常實時數據，得到所述第一異常實時數據集。

可選地，所述計算所述實時數據集中任意兩個實時數據的距離值包括：

利用下述方法計算所述實時數據集中任意兩個實時數據的距離值：