[發明專利]一種數據核對的方法及裝置

在審

• 申請號: 202110906712.X
• 申請日: 2021-08-09
• 公開（公告）號: CN113763166A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 陳超;王炫召;馬永松;張飛;沈敏
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: G06Q40/04
• 分類號: G06Q40/04;G06F16/2455;G06F16/27
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 宋正偉

1.一種數據核對的方法，其特征在于，包括：

從不同數據源獲取N個待核對數據集；N為正整數；所述N個待核對數據集之間具有唯一關聯主鍵；

針對任一待核對數據集，對所述待核對數據集進行分片，得到多個數據集分片，并將所述多個數據集分片進行分布式存儲；

針對所述N個待核對數據集中的任一關聯主鍵值，并發遍歷分布式存儲的各數據集分片，得到核對記錄；所述核對記錄包括關聯主鍵值以及所述關聯主鍵值在所述N個待核對數據集中的各數據明細；所述核對記錄中數據明細的數量不大于N；

根據所述各核對記錄確定核對結果。

2.如權利要求1所述的方法，其特征在于，對所述待核對數據集進行分片，包括：

確定分布式存儲的M個數據庫；

按照所述M個數據庫均勻存儲數據集分片的原則，對所述待核對數據集進行分片。

3.如權利要求1所述的方法，其特征在于，針對所述N個待核對數據集中的任一關聯主鍵值，并發遍歷分布式存儲的各數據集分片，包括：

獲取所述N個待核對數據集中的各關聯關鍵值；

對所述關聯主鍵值進行去重處理；

針對去重后的所述N個待核對數據集中的任一關聯主鍵值，并發遍歷分布式存儲的各數據集分片。

4.如權利要求1所述的方法，其特征在于，根據所述各核對記錄確定核對結果，包括：

將各核對記錄分組至各計算主機，并接收所述各計算主機發送的各核對記錄的記錄結果；所述記錄結果包括平賬記錄和非平賬記錄；

所述平賬記錄是計算主機在判斷核對記錄中數據明細的數量為N時確定的；所述非平賬記錄是計算主機在判斷核對記錄中數據明細的數量不為N時確定的；

將各記錄結果進行匯總，確定所述核對結果。

5.如權利要求4所述的方法，其特征在于，將各核對記錄分組至各計算主機，包括：

針對任一核對記錄，根據所述核對記錄的關聯主鍵值確定分組值；

將具有相同分組值的各核對記錄確定為同一分組；

為每個分組確定對應的計算主機，并將每個分組對應的各核對記錄發送至對應的計算主機。

6.如權利要求4所述的方法，其特征在于，所述平賬記錄是計算主機在判斷核對記錄中數據明細的數量為N，且各數據明細的信息一致時確定的；所述非平賬記錄是計算主機在判斷核對記錄中數據明細的數量不為N，或各數據明細的信息不一致時確定的。

7.如權利要求5所述的方法，其特征在于，所述方法還包括：

各計算主機將各自的各核對記錄的記錄結果存儲于同一目錄下。

8.一種數據核對的裝置，其特征在于，包括：

獲取模塊，用于從不同數據源獲取N個待核對數據集；N為正整數；所述N個待核對數據集之間具有唯一關聯主鍵；

處理模塊，用于針對任一待核對數據集，對所述待核對數據集進行分片，得到多個數據集分片，并將所述多個數據集分片進行分布式存儲；

針對所述N個待核對數據集中的任一關聯主鍵值，并發遍歷分布式存儲的各數據集分片，得到核對記錄；所述核對記錄包括關聯主鍵值以及所述關聯主鍵值在所述N個待核對數據集中的各數據明細；所述核對記錄中數據明細的數量不大于N；

根據所述各核對記錄確定核對結果。

9.一種計算機設備，其特征在于，包括：

存儲器，用于存儲程序指令；

處理器，用于調用所述存儲器中存儲的程序指令，按照獲得的程序執行權利要求1至7任一項所述的方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機可執行指令，所述計算機可執行指令用于使計算機執行權利要求1至7任一項所述的方法。