[發明專利]數據比對方法、系統、電子設備和存儲介質

在審

• 申請號: 202110387928.X
• 申請日: 2021-04-12
• 公開（公告）號: CN112988817A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 張昌達;劉力;劉澤昕;黃書珽
• 申請（專利權）人: 攜程旅游網絡技術（上海）有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 徐莉;鐘宗

本發明涉及數據處理技術領域，提供一種數據比對方法、系統、電子設備和存儲介質。所述數據比對方法包括：任務獲取步驟：獲取比對任務的比對信息，包括基準數據源和比對數據源、待比對數據的查詢條件和分頁抽取模式；數據抽取步驟：根據所述分頁抽取模式，分別自所述基準數據源和所述比對數據源中抽取滿足所述查詢條件的基準數據和比對數據，并建立所述基準數據和所述比對數據的映射關系；數據比對步驟：對相映射的每組基準數據和比對數據進行比對，生成包含所述比對數據與對應的基準數據的差異標記的比對結果。本發明能夠實現海量數據的差異化比對，根據需要靈活取數，提高數據比對驗證的效率和系統的穩定性。

技術領域

本發明涉及數據處理技術領域，具體地說，涉及一種數據比對方法、系統、電子設備和存儲介質。

背景技術

數據遷移、不同系統數據同步在信息化系統中非常常見，在數據遷移、數據同步等操作前，需要對數據進行比對驗證，確保遷移、同步等操作的可靠性。

傳統的數據比對驗證，通過采取抽樣、人工檢測、數據總量驗證等方式進行數據一致性的驗證，覆蓋范圍非常有限，常會導致大量重復工作，無法靈活地進行數據比對驗證，且缺少系統化的結果報告。

需要說明的是，上述背景技術部分公開的信息僅用于加強對本發明的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

有鑒于此，本發明提供一種數據比對方法、系統、電子設備和存儲介質，能夠實現海量數據的差異化比對，根據需要靈活取數，提高數據比對驗證的效率和系統的穩定性。

本發明的一個方面提供一種數據比對方法，包括：任務獲取步驟：獲取比對任務的比對信息，包括基準數據源和比對數據源、待比對數據的查詢條件和分頁抽取模式；數據抽取步驟：根據所述分頁抽取模式，分別自所述基準數據源和所述比對數據源中抽取滿足所述查詢條件的基準數據和比對數據，并建立所述基準數據和所述比對數據的映射關系；數據比對步驟：對相映射的每組基準數據和比對數據進行比對，生成包含所述比對數據與對應的基準數據的差異標記的比對結果。

在一些實施例中，所述任務獲取步驟之前，還包括任務生成步驟，所述任務生成步驟包括：接收主任務配置的比對信息，生成消息隊列，所述主任務配置的比對信息包括基準數據源、進行數據抽取的取數條件和分頁抽取模式；接收基于所述主任務的多個子任務配置的比對信息，生成所述消息隊列的多個消費者，每個所述子任務配置的比對信息包括比對數據源、基于所述取數條件的查詢條件、及數據比對模式；所述任務獲取步驟、所述數據抽取步驟和所述數據比對步驟分別由每個所述消費者執行，多個所述消費者并行消費所述消息隊列的多條消息，每條消息包括所述主任務的比對信息和對應的子任務的比對信息。

在一些實施例中，所述取數條件和所述查詢條件均以鍵值方式存儲；所述取數條件中，以所述待比對數據的數據特征為鍵，以所述待比對數據的數據范圍為值；所述查詢條件中，以滿足所述數據特征的變量名為鍵，以滿足所述數據范圍的變量值為值。

在一些實施例中，所述數據比對步驟包括：根據所述數據比對模式，過濾相映射的每組基準數據和比對數據中的忽略字段，所述數據比對模式包括嚴格模式和非嚴格模式；對每組所述基準數據和比對數據中保留的目標字段進行比對，并當所述比對數據的目標字段與對應的基準數據的目標字段存在差異時根據差異類型進行差異標記；生成包含所述基準數據、所述比對數據、及所述比對數據與對應的基準數據的差異標記的比對結果。

在一些實施例中，所述分頁抽取模式的結束條件為時間截止條件或數量截止條件。

在一些實施例中，所述數據比對步驟之后，還包括可視化展示步驟，所述可視化展示步驟包括：根據所述比對結果，生成可視化報告，展示至對應頁面。

在一些實施例中，所述比對結果存儲于Elasticsearch中。