[發明專利]一種數據一致性問題的發現修正方法及系統

在審

• 申請號: 201710610966.0
• 申請日: 2017-07-25
• 公開（公告）號: CN107506384A
• 公開（公告）日: 2017-12-22
• 發明（設計）人: 鄭樹森
• 申請（專利權）人: 北京供銷科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京航信高科知識產權代理事務所(普通合伙)11526
• 代理人: 高原

技術領域

本發明涉及數據采集和分析技術領域，特別是涉及一種數據一致性問題的發現修正方法及數據一致性問題的發現修正系統。

背景技術

大數據采集處理一般都會涉及多個環節的處理過程，比如數據接收、緩存、數據清洗、去重、數據增強、數據統計分析等。因此在實際應用中，經常由于各種原因會出現數據丟失或重復的現象。因數據量巨大(每秒鐘處理上百萬-幾千萬條數據)，出現異常問題時，很難定位異常環節和找出并恢復異常數據。

目前有很多理論研究并實現了數據一致性保證技術，比如分布式事務處理方案、單個處理單元實現異常重試操作(要實現多次重試的冪等性)。但是在異常數據發現和恢復方面的理論研究還有很大空白。通常的處理方法有：

1、通過業務統計信息的波動異常表現發現丟失或重復數據。比如某天的統計數據的波形圖和預測值差異很大。

2、通過抽查樣本數據，發現丟失數據的現象。

3、查找異常環節時，通常的處理方法是搭建一套類似的測試環境，模擬線上操作，先模擬采集網絡日志，確認生成的文件是否有數據丟失，依次檢查數據清洗環節(丟棄的數據+輸出的數據是否和文件中數據一致)、數據緩存環節是否丟失數據...,挨個排查數據。這種處理方式需要各個環節的負責人員配合才能完成，并且很多情況下，線上環境數據量大、影響因素多的原因不能重現問題。

4、數據修復時，因不能冪等操作，或者無法找到異常數據的來源(比如可以統計出丟失了多少條數據，但不知道這些數據來源于哪些原始文件)，常常導致數據的不可修復。

因此，急需有一種技術方案來克服或至少減輕現有技術的至少一個上述缺陷。

發明內容

本發明的目的在于提供一種數據一致性問題的發現修正方法來克服或至少減輕現有技術的至少一個上述缺陷。

為實現上述目的，本申請提供了一種數據一致性問題的發現修正方法，所述數據一致性問題的發現修正方法包括如下步驟：步驟1：采集待檢驗數據，并將待檢驗數據保存成文件形式；步驟2：為保存成文件形式的待檢驗數據增加第一標記；步驟3：將增加第一標記的待檢驗數據錄入分布式存儲系統，并檢驗錄入的數據與待檢驗數據是否對應以及對增加第一標記的待檢驗數據通過第一維度信息進行統計分析，并判斷統計分析結果是否正確；步驟4：若所述檢驗錄入的數據與待檢驗數據對應且統計分析結果正確，則結束；若所述檢驗錄入的數據與待檢驗數據對應而統計分析結果錯誤，則從分布式存儲中獲取數據進行重新分析，直至所述檢驗錄入的數據與待檢驗數據對應且統計分析結果正確。

優選地，所述第一標記為：為所述待檢驗數據增加文件名、行號屬性，其中，行號按預設規律遞增，行id包括文件名以及行號。

優選地，所述檢驗錄入的數據與待檢驗數據是否對應具體為：判斷錄入至分布式存儲系統中的數據的總行數與待檢驗數據的總行數是否一致，若是，則判斷檢驗錄入的數據與待檢驗數據對應；若否，則進行下一步；根據所述預設規律，在錄入的數據中找到缺失或重復的行號，并獲取異常數據信息。

優選地，所述分布式存儲系統包括hbase、ES、HDFS；

當錄入多個分布式存儲系統中時，檢驗每一個分布式存儲系統中錄入的數據與待檢驗數據是否對應。

優選地，所述異常數據信息包括：

文件名、總行數、錄入分布式存儲系統中的總行數、分布式存儲系統中的缺失行數以及是否進行異常標記。

優選地，所述步驟3根據需要，能夠預設開始時間點以及錄入范圍。

本申請還提供了一種數據一致性問題的發現修正系統，所述數據一致性問題的發現修正系統包括：采集模塊，所述采集模塊用于采集待檢驗數據，并將待檢驗數據保存成文件形式；標記增加模塊，所述標記增加模塊用于為保存成文件形式的待檢驗數據增加第一標記；錄入模塊，所述錄入模塊用于將增加第一標記的待檢驗數據錄入分布式存儲系統；數據判斷模塊，所述數據判斷模塊用于檢驗錄入的數據與待檢驗數據是否對應；統計分析判斷模塊，所述統計分析判斷模塊用于對增加第一標記的待檢驗數據通過第一維度信息進行統計分析，并判斷統計分析結果是否正確；處理模塊，所述處理模塊用于根據數據判斷模塊以及統計分析判斷模塊傳遞的結果進行處理；若所述檢驗錄入的數據與待檢驗數據對應且統計分析結果正確，則結束；若所述檢驗錄入的數據與待檢驗數據對應而統計分析結果錯誤，則從分布式存儲中獲取數據進行重新分析。