[發明專利]一種數據比對方法和裝置

有效

• 申請號: 201310224623.2
• 申請日: 2013-06-06
• 公開（公告）號: CN104239301B
• 公開（公告）日: 2018-02-13
• 發明（設計）人: 劉祥斌;夏晨;楊少華
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 解婷婷,栗若木

1.一種數據比對方法，其特征在于，包括：

確定待比對的第一數據集和第二數據集，且所述第一數據集和第二數據集中的每個比較對象包括一個或多個比較項；

確定所述比較項的類型，所述類型至少包括：第一類比較項和非第一類比較項；

對所述第一數據集中的比較對象和第二數據集中的比較對象進行比對，其中，如果所述第一數據集中的第一比較對象的第一類比較項和所述第二數據集中的第二比較對象中的對應第一類比較項相同，且所述第一比較對象的非第一類比較項與所述第二比較對象的對應非第一類比較項之間的差異滿足預設條件，則判斷所述第一比較對象和所述第二比較對象一致；所述第一類比較項包括數據類型為字符串的比較項，和/或，數據類型為整型的比較項；所述非第一類比較項包括數據類型為浮點數的比較項；

其中，所述對所述第一數據集中的比較對象和第二數據集中的比較對象進行比對包括：

提取每個比較對象的第一類比較項，作為該比較對象的鍵值；

將所述第一數據集中的比較對象按所述鍵值進行分組，將所述第二數據集中的比較對象按所述鍵值進行分組；其中，同一組中的比較對象其鍵值相同；

根據分組將所述第一數據集和第二數據集中的比較對象進行比較，且相互比較的兩組中的比較對象的鍵值相同。

2.如權利要求1所述的方法，其特征在于，所述根據分組將所述第一數據集和第二數據集中的比較對象進行比較包括：

根據所述分組從所述第一數據集中獲取第一組，從所述第二數據集中獲取第二組，且所述第一組中的各比較對象的鍵值與所述第二組中的各比較對象的鍵值相同；

將所述第一組中的各比較對象的非第一類比較項和所述第二組中對應非第一類比較項進行比較；

如果所述第一組中的所有非第一類比較項與所述第二組中的對應非第一類比較項滿足所述預設條件，且所述第一組和所述第二組中的比較對象的數目相同，則所述第一組和所述第二組一致，否則，報告兩組差異。

3.如權利要求2所述的方法，其特征在于，

所述將所述第一組中的各比較對象的非第一類比較項和所述第二組中對應非第一類比較項進行比較前，還包括：

將所述第一組中的各比較對象除所述鍵值外的比較項進行排序，將所述第二組中的各比較對象除所述鍵值外的比較項進行排序。

4.如權利要求1至3任一所述的方法，其特征在于，所述方法還包括：對所述第一數據集和第二數據集中的比較對象進行比對前還包括：將所述第一數據集中的比較對象和所述第二數據集中的比較對象根據所述鍵值基于分布式計算框架分布到各實例中。

5.如權利要求1至3任一所述的方法，其特征在于，所述第一比較對象的非第一類比較項與所述第二比較對象的對應非第一類比較項之間的差異滿足預設條件包括：

對所述第一比較對象的任一非第一類比較項，獲取其與所述第二比較對象的對應非第一類比較項的差值，或者，獲取所述差值與當前比較的非第一類比較項的比值；

判斷所述差值或所述比值是否小于預設閾值，如果小于，則所述第一比較對象和第二比較對象當前比較的非第一類比較項滿足所述預設條件。