[發明專利]數據一致性監控方法、計算機設備和存儲介質

在審

• 申請號: 201710848056.6
• 申請日: 2017-09-19
• 公開（公告）號: CN107644077A
• 公開（公告）日: 2018-01-30
• 發明（設計）人: 莊嵩;楊志強;汪永佳
• 申請（專利權）人: 杭州貝購科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 孟金喆

技術領域

本發明實施例涉及互聯網技術，尤其涉及一種數據一致性監控方法、計算機設備和存儲介質。

背景技術

大型互聯網平臺往往是由一系列分布式系統構成的，開發語言平臺和技術棧相對比較雜，特別是現在微服務大行其道的情況下，每個操作請求可能會涉及幾十個甚至上百個服務的調用，以及通過消息異步執行，這樣操作的業務一致性就很難保障。

在服務、網絡等不穩定的情況下，會容易出現部分操作失敗的情況。并且在發生問題時，技術人員很難及時發現問題，問題積累到最后可能會造成較大損失。以交易場景為例，用戶支付成功則更新交易訂單狀態，在支付成功后調用交易服務接口更新訂單狀態，而此時由于網絡異常造成調用失敗，就會造成用戶實際支付成功但訂單狀態還是待付款，這就導致了業務不一致。

發明內容

本發明實施例提供一種數據一致性監控方法、計算機設備和存儲介質，能夠及時發現業務數據不一致的情況，并及時提醒工作人員進行處理。

第一方面，本發明實施例提供了一種數據一致性監控方法，包括：

獲取業務數據以及所述業務數據觸發的監控任務；

從預設規則中獲取所述監控任務對應的過濾規則和驗證規則；

根據所述過濾規則對所述業務數據進行過濾處理，并對過濾后的業務數據進行去重，得到待處理數據；

根據所述監控任務的任務類型和所述驗證規則對所述待處理數據進行匹配驗證，如果驗證未通過，輸出告警。

進一步地，對過濾后的業務數據進行去重，包括：獲取過濾后的各業務數據的數據標識；對于數據標識相同的業務數據進行去重。

進一步地，根據所述監控任務的任務類型和所述驗證規則對所述待處理數據進行匹配驗證，包括：

確定所述監控任務的任務類型；

按照所述任務類型對所述待處理數據進行加工計算，得到滿足所述驗證規則的待驗證數據，并存入緩存；

調用規則運算器執行所述驗證規則，對所述待驗證數據進行匹配驗證。

進一步地，對所述待驗證數據進行匹配驗證，包括：

如果所述任務類型表示合規自檢，則從所述驗證規則中獲取所述待驗證數據對應的自檢要求，判斷所述待驗證數據是否符合所述自檢要求，如果不符合所述自檢要求，驗證未通過；

如果所述任務類型表示閾值校驗，則從所述驗證規則中獲取所述待驗證數據對應的閾值，判斷所述待驗證數據是否超過所述閾值，如果超過所述閾值，驗證未通過；

如果所述任務類型表示數據對沖，則從所述驗證規則中獲取所述待驗證數據的對沖關系，比較所述待驗證數據與對沖關系數據是否對沖，如果不對沖，驗證未通過。

進一步地，在對所述待驗證數據進行匹配驗證之前，所述方法還包括：

如果所述任務類型表示數據對沖，檢測是否接收到所述待驗證數據的對沖關系數據；

如果否，等待預設時間，如果預設時間內仍沒有接收到所述對沖關系數據，則驗證未通過。

進一步地，獲取業務數據包括：根據預設的訂閱信息實時獲取對應的業務數據，并將所述業務數據解析成可用格式。

進一步地，在從預設規則中獲取所述監控任務對應的過濾規則和驗證規則之后，所述方法還包括：將獲取的所述過濾規則和所述驗證規則存儲到本地。

進一步地，在根據所述監控任務的任務類型和所述驗證規則對所述待處理數據進行匹配驗證之后，所述方法還包括：存儲驗證未通過的相關數據。

第二方面，本發明實施例還提供了一種計算機設備，所述計算機設備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如本發明任意實施例所述的數據一致性監控方法。

第三方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本發明任意實施例所述的數據一致性監控方法。

本發明通過獲取業務數據以及該業務數據觸發的監控任務所對應的監控規則，按照監控規則中的驗證規則對待處理數據進行匹配驗證，如果驗證未通過，輸出告警，能夠及時發現業務數據不一致的情況，并及時提醒工作人員進行處理。

附圖說明