[發明專利]一種數據監控方法和裝置

在審

• 申請號: 201811485959.3
• 申請日: 2018-12-06
• 公開（公告）號: CN111290927A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 李希亮
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;郭晗

本發明公開了一種數據監控方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：對數據操作的日志進行預設處理，所述預設處理包括：按照過濾規則過濾所述日志中的數據操作記錄，根據所述過濾的結果統計所述日志對應時段的有效新增數據量；根據所述預設處理的結果監控數據是否出現異常。該實施方式能夠避免入庫查詢操作，減少數據查詢和統計的開銷，可以批量處理，查詢速度快，數據監控效率高，可以同時監控某一時段的有效新增數據量、最終數據狀態的信息和操作明細，監控維度多樣，并且根據操作明細可以評估業務操作的準確性。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據監控方法和裝置。

背景技術

當前很多業務系統數據量大、數據狀態變更頻繁，例如，財務系統，其數據非常多且對賬過程中數據狀態變更比較頻繁，為了保證系統中數據的正確性、業務人員操作的準確性，對于數據的監控很有必要。

現有的數據監控方案包括三種：數據條數監控、數據狀態監控、數據操作記錄監控。其中，數據條數監控需通過查詢數據庫來以天、賬戶等統計數據庫中數據條數，形成基礎數據，記錄每次的監控數據。數據狀態監控，需通過查詢數據庫來以天、賬戶等統計數據庫中數據的狀態，形成基礎數據，記錄每次的監控數據。數據操作記錄監控需通過數據庫記錄來監控用戶對數據變更的操作，包括新增、更新、刪除，當出現數據異常時，可以追溯到數據變更人，其無法評估業務操作的準確性，僅僅是一個記錄而已。上述三種方案監控維度都比較單一。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

現有方案均需依賴于查詢數據庫來實現數據監控，數據查詢和統計開銷較大，且對數據庫表的查詢無法批量處理，查詢速度慢，降低了數據監控效率，并且監控維度都比較單一，無法評估業務操作的準確性。

發明內容

有鑒于此，本發明實施例提供一種數據監控方法和裝置，能夠避免入庫查詢操作，減少數據查詢和統計的開銷，可以批量處理，查詢速度快，數據監控效率高，可以同時監控某一時段的有效新增數據量、最終數據狀態的信息和操作明細，監控維度多樣，并且根據操作明細可以評估業務操作的準確性。

為實現上述目的，根據本發明實施例的一個方面，提供了一種數據監控方法。

一種數據監控方法，包括：對數據操作的日志進行預設處理，所述預設處理包括：按照過濾規則過濾所述日志中的數據操作記錄，根據所述過濾的結果統計所述日志對應時段的有效新增數據量；根據所述預設處理的結果監控數據是否出現異常。

可選地，按照過濾規則過濾所述日志中的數據操作記錄的步驟，包括：將對所述有效新增數據量無影響的數據操作記錄濾除，其中，對所述有效新增數據量無影響的數據操作記錄包括：對數據執行的數據查詢操作或數據刪除操作的記錄；對一數據執行的所述數據刪除操作之前，對同一數據執行的特定數據操作的記錄，所述特定數據操作包括數據查詢操作、數據新增操作、數據更新操作中的一種或多種。

可選地，所述預設處理還包括：按照合并規則合并所述日志中的數據操作記錄；根據所述合并和所述過濾的結果，統計所述日志對應時段的最終數據狀態的信息。

可選地，按照合并規則合并所述日志中的數據操作記錄的步驟，包括：將對同一數據執行兩次或兩次以上數據更新操作的記錄合并；將對同一數據先后執行數據新增和數據更新操作的記錄合并。

可選地，所述預設處理還包括：根據所述日志中對每一數據的數據操作記錄和數據狀態記錄，生成各數據的數據操作序列和數據狀態序列，并統計所述日志中各類數據操作的頻次。

可選地，對數據操作的日志進行預設處理的步驟，包括：按照所述日志的總行數將所述日志均分成多份，并分別對每份日志進行所述預設處理。

根據本發明實施例的另一方面，提供了一種數據監控裝置。