[發明專利]數據比對系統和方法

有效

• 申請號: 201710065045.0
• 申請日: 2017-02-06
• 公開（公告）號: CN108399151B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 米博會;魏慶濱;張磊
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F40/194
• 分類號: G06F40/194
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

本發明提出一種數據比對系統和方法，該數據比對系統包括映射模塊，用于分別對待比對的第一數據和第二數據進行映射處理，得到第一數據中多行數據的第一鍵值對和第二數據中多行數據的第二鍵值對；合并模塊，用于分別對第一鍵值對和第二鍵值對進行排序，得到排序后的第一鍵值對和排序后的第二鍵值對，以及，對排序后的第一鍵值對和排序后的第二鍵值對進行合并，得到合并結果；歸約模塊，用于判斷合并結果中鍵值對的value值是否相同，得到判斷結果，并根據判斷結果對待比對的第一數據和第二數據進行比對。通過本發明能夠避免對文件中數據順序的依賴，有效提升數據比對效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據比對系統和方法。

背景技術

隨著計算機領域中大數據技術的發展，在大數據應用和處理的過程中，需要比對兩份文件中數據的一致性。一種應用場景例如，原產品線上的一個項目A，升級后需要驗證執行的正確性，可以通過比對項目A的原始程序和項目A的升級版本的程序，在接收相同輸入情況下，項目A輸出的內容一致與否來驗證。

相關技術中，數據比對方法基于單機進行比對處理，且要求比對的兩份輸入文件的內容是有序的，例如，文件a中包含三行數據：數據A、數據B，以及數據C，而文件b中包含三行數據：數據B、數據A,以及數據C，在這種示例下，相關技術中的數據比對方法判定：文件a和文件b不一致。

這種方式下，在對大數據進行比對的過程中，文件中數據順序依賴性高，單機執行困難，比對效率低。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種數據比對系統，能夠避免對文件中數據順序的依賴，有效提升數據比對效率。

本發明的另一個目的在于提出一種數據比對方法。

本發明的另一個目的在于提出一種數據比對裝置。

本發明的另一個目的在于提出一種非臨時性計算機可讀存儲介質。

本發明的另一個目的在于提出一種計算機程序產品。

為達到上述目的，本發明第一方面實施例提出的數據比對系統，包括：映射模塊，用于分別對待比對的第一數據和第二數據進行映射處理，得到所述第一數據中多行數據的第一鍵值對和所述第二數據中多行數據的第二鍵值對；合并模塊，用于分別對所述第一鍵值對和所述第二鍵值對進行排序，得到排序后的第一鍵值對和排序后的第二鍵值對，以及，對所述排序后的第一鍵值對和所述排序后的第二鍵值對進行合并，得到合并結果；歸約模塊，用于判斷合并結果中鍵值對的value值是否相同，得到判斷結果，并根據所述判斷結果對待比對的所述第一數據和所述第二數據進行比對。

本發明第一方面實施例提出的數據比對系統，通過分別對待比對的第一數據和第二數據進行映射處理，得到第一數據中多行數據的第一鍵值對和第二數據中多行數據的第二鍵值對，并分別對第一鍵值對和第二鍵值對進行排序，得到排序后的第一鍵值對和排序后的第二鍵值對，以及，對排序后的第一鍵值對和排序后的第二鍵值對進行合并，得到合并結果，判斷合并結果中鍵值對的value值是否相同，得到判斷結果，并根據判斷結果對待比對的第一數據和第二數據進行比對，能夠避免對文件中數據順序的依賴，有效提升數據比對效率。

為達到上述目的，本發明第二方面實施例提出的數據比對方法，包括：分別對待比對的第一數據和第二數據進行映射處理，得到所述第一數據中多行數據的第一鍵值對和所述第二數據中多行數據的第二鍵值對；分別對所述第一鍵值對和所述第二鍵值對進行排序，得到排序后的第一鍵值對和排序后的第二鍵值對，以及，對所述排序后的第一鍵值對和所述排序后的第二鍵值對進行合并，得到合并結果；判斷合并結果中鍵值對的value值是否相同，得到判斷結果，并根據所述判斷結果對待比對的所述第一數據和所述第二數據進行比對。