[發明專利]大數據同步的一致性驗證方法及系統

有效

• 申請號: 202011078000.5
• 申請日: 2020-10-10
• 公開（公告）號: CN112256711B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 范亮
• 申請（專利權）人: 武漢鼎森電子科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/25;G06F16/27;G06F11/10
• 代理公司: 武漢紅觀專利代理事務所(普通合伙) 42247
• 代理人: 陳凱

1.一種大數據同步的一致性驗證方法，其特征在于，包括：

步驟S1，分別將A、B中的數據按照主鍵排序并拆分為大小相等的chunk，得到多個A的chunk和多個B的chunk；

步驟S2，分別從每一個A的chunk和每一個B的chunk中抽取同步數據進行格式轉換，生成多個A的chunk字符串和多個B的chunk字符串；

步驟S3，分別對每一個A的chunk字符串和每一個B的chunk字符串進行CRC32校驗和運算以得到校驗和，將主鍵區間和校驗和存儲在預備臨時表中，分別得到A的預備臨時表和B的預備臨時表；

步驟S4，根據主鍵區間分別抽取A的預備臨時表和B的預備臨時表中的校驗和進行逐行比對，若A的預備臨時表與B的預備臨時表中同一行的校驗和不一致則將此行所對應的chunk記錄在chunk差異臨時表中；

步驟S5，待A的預備臨時表與B的預備臨時表比對完畢，取出chunk差異臨時表中的所有記錄，對于chunk差異臨時表中有記錄的每一個chunk，將每一個A的chunk與B的chunk中每一行數據的CRC32進行比對，若CRC32不一致則將此行的數據存放在最終差異對比表中；

其中，A與B中的數據中具有唯一主鍵。

2.如權利要求1所述的大數據同步的一致性驗證方法，其特征在于，A為阿里云rds數據庫，B為mysql數據庫。

3.如權利要求1所述的大數據同步的一致性驗證方法，其特征在于，A為mysql數據庫，B為elasticsearch搜索引擎。

4.如權利要求3所述的大數據同步的一致性驗證方法，其特征在于，所述一致性驗證方法通過mvcc向查詢提供mysql數據庫在特定時間點的快照，通過暫停elasticsearch索引的增量同步，將所有的增量全部緩存到第三方存儲組件中，待驗證和恢復數據完成再從第三方存儲組件中恢復所有索引的寫入。

5.如權利要求1所述的大數據同步的一致性驗證方法，其特征在于，所述一致性驗證方法利用多線程、或進程或協程技術將每個chunk的處理分別拿到單獨的執行單元中處理。

6.如權利要求1-5任一所述的大數據同步的一致性驗證方法，其特征在于，步驟S2包括：

步驟S21，抽取A的chunk和B的chunk中同步數據的同步字段；

步驟S22，對同步字段的基礎數據進行類型轉換；

步驟S23，將轉換類型后的基礎數據存儲于map[string]interface{}存儲結構中，其中string為數據的key，interface{}為通用數據類型；

步驟S24，對存儲于map[string]interface{}存儲結構中的數據進行map key排序，將所有key轉換成字符串，生成chunk字符串。

7.如權利要求6所述的大數據同步的一致性驗證方法，其特征在于，步驟S22包括：

將所有[]byte及text類型轉換為string字符串類型；

將所有整型轉換成int64或uint64類型；

將所有浮點型轉換成float64類型。

8.一種大數據同步的一致性驗證系統，其特征在于，包括：

chunk拆分模塊，用于分別將A、B中的數據按照主鍵排序并拆分為大小相等的chunk，得到多個A的chunk和多個B的chunk；

chunk字符串生成模塊，用于分別從每一個A的chunk和每一個B的chunk中抽取同步數據進行格式轉換，生成多個A的chunk字符串和多個B的chunk字符串；

預備臨時表生成模塊，用于分別對每一個A的chunk字符串和每一個B的chunk字符串進行CRC32校驗和運算以得到校驗和，將主鍵區間和校驗和存儲在預備臨時表中，分別得到A的預備臨時表和B的預備臨時表；

chunk差異臨時表生成模塊，用于根據主鍵區間分別抽取A的預備臨時表和B的預備臨時表中的校驗和進行逐行比對，若A的預備臨時表與B的預備臨時表中同一行的校驗和不一致則將此行所對應的chunk記錄在chunk差異臨時表中；

最終差異對比表生成模塊，用于待A的預備臨時表與B的預備臨時表比對完畢，取出chunk差異臨時表中的所有記錄，對于chunk差異臨時表中有記錄的每一個chunk，將每一個A的chunk與B的chunk中每一行數據的CRC32進行比對，若CRC32不一致則將此行的數據存放在最終差異對比表中；

其中，A與B中的數據中具有唯一主鍵。