[發明專利]一種數據一致性問題的發現修正方法及系統

在審

• 申請號: 201710610966.0
• 申請日: 2017-07-25
• 公開（公告）號: CN107506384A
• 公開（公告）日: 2017-12-22
• 發明（設計）人: 鄭樹森
• 申請（專利權）人: 北京供銷科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京航信高科知識產權代理事務所(普通合伙)11526
• 代理人: 高原

1.一種數據一致性問題的發現修正方法，其特征在于，所述數據一致性問題的發現修正方法包括如下步驟：

步驟1：采集待檢驗數據，并將待檢驗數據保存成文件形式；

步驟2：為保存成文件形式的待檢驗數據增加第一標記；

步驟3：將增加第一標記的待檢驗數據錄入分布式存儲系統，并檢驗錄入的數據與待檢驗數據是否對應以及對增加第一標記的待檢驗數據通過第一維度信息進行統計分析，并判斷統計分析結果是否正確；

步驟4：若所述檢驗錄入的數據與待檢驗數據對應且統計分析結果正確，則結束；

若所述檢驗錄入的數據與待檢驗數據對應而統計分析結果錯誤，則從分布式存儲中獲取數據進行重新分析，直至所述檢驗錄入的數據與待檢驗數據對應且統計分析結果正確。

2.如權利要求1所述的數據一致性問題的發現修正方法，其特征在于，所述第一標記為：為所述待檢驗數據增加文件名、行號屬性，其中，行號按預設規律遞增，行id包括文件名以及行號。

3.如權利要求2所述的數據一致性問題的發現修正方法，其特征在于，所述檢驗錄入的數據與待檢驗數據是否對應具體為：

判斷錄入至分布式存儲系統中的數據的總行數與待檢驗數據的總行數是否一致，若是，則判斷檢驗錄入的數據與待檢驗數據對應；若否，則進行下一步；

根據所述預設規律，在錄入的數據中找到缺失或重復的行號，并獲取異常數據信息。

4.如權利要求3所述的數據一致性問題的發現修正方法，其特征在于，所述分布式存儲系統包括hbase、ES、HDFS；

當錄入多個分布式存儲系統中時，檢驗每一個分布式存儲系統中錄入的數據與待檢驗數據是否對應。

5.如權利要求3所述的數據一致性問題的發現修正方法，其特征在于，所述異常數據信息包括：

文件名、總行數、錄入分布式存儲系統中的總行數、分布式存儲系統中的缺失行數以及是否進行異常標記。

6.如權利要求1所述的數據一致性問題的發現修正方法，其特征在于，所述步驟3根據需要，能夠預設開始時間點以及錄入范圍。

7.一種數據一致性問題的發現修正系統，其特征在于，所述數據一致性問題的發現修正系統包括：

采集模塊，所述采集模塊用于采集待檢驗數據，并將待檢驗數據保存成文件形式；

標記增加模塊，所述標記增加模塊用于為保存成文件形式的待檢驗數據增加第一標記；

錄入模塊，所述錄入模塊用于將增加第一標記的待檢驗數據錄入分布式存儲系統；

數據判斷模塊，所述數據判斷模塊用于檢驗錄入的數據與待檢驗數據是否對應；

統計分析判斷模塊，所述統計分析判斷模塊用于對增加第一標記的待檢驗數據通過第一維度信息進行統計分析，并判斷統計分析結果是否正確；

處理模塊，所述處理模塊用于根據數據判斷模塊以及統計分析判斷模塊傳遞的結果進行處理；

若所述檢驗錄入的數據與待檢驗數據對應且統計分析結果正確，則結束；

若所述檢驗錄入的數據與待檢驗數據對應而統計分析結果錯誤，則從分布式存儲中獲取數據進行重新分析，直至所述檢驗錄入的數據與待檢驗數據對應且統計分析結果正確。

8.如權利要求7所述的數據一致性問題的發現修正系統，其特征在于，所述統計分析判斷模塊包括：

總行數判斷模塊，所述總行數判斷模塊用于判斷錄入至分布式存儲系統中的數據的總行數與待檢驗數據的總行數是否一致；

預設規律模塊，所述預設規律模塊用于預設規律；

查找模塊，所述查找模塊用于根據所述預設規律，在錄入的數據中找到缺失或重復的行號，并獲取異常數據信息。

9.如權利要求8所述的數據一致性問題的發現修正系統，其特征在于，所述統計分析判斷模塊進一步包括：

時間點選擇模塊，所述時間點選擇模塊用于預設開始時間點；

錄入范圍選擇模塊，所述錄入范圍選擇模塊用于選擇錄入范圍。