[發明專利]數據校驗方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202111446609.8
• 申請日: 2021-11-29
• 公開（公告）號: CN114116724A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 陳雙琴
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/215
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

本申請實施例公開了一種數據校驗方法、裝置、設備及可讀存儲介質，涉及人工智能和醫療領域，其中，方法包括：獲取源數據表和目標數據表，確定源數據表和目標數據表的表格類型；若源數據表的表格類型和目標數據表的表格類型均為全量表格，分別確定源數據表中的數據量和目標數據表中的數據量是否大于數據量閾值；若是，對源數據表進行分區處理，得到源分區表，以及對目標數據表進行分區處理，得到目標分區表；基于源分區表中的源分區字段和目標分區表中的目標分區字段進行校驗；若任一源分區表中的源分區字段和對應的目標分區表中目標分區字段間的數據校驗不通過，則確定源數據表與目標數據表不一致。采用本申請實施例，可以提高數據校驗效率。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種數據校驗方法、裝置、設備及可讀存儲介質。

背景技術

數據校驗是大數據領域重要的質量保證手段，在海量的數據規模、快速的數據流轉、多樣的數據類型面前，為了保證數據清洗和處理過程中數據的有效性和流轉到下游系統的數據準確性，能快速檢驗數據的準確性在大數據行業有很大的應用，能幫助數倉系統保證海量數據的有效性，提升下游系統數據分析結果的可靠性。如在醫療領域中，需要針對大量醫療數據進行數據校驗。

現有技術中數據校驗面對海量、復雜的數據資源時，需要通過人工對不同表格中的每個字段進行對比校驗，導致數據校驗效率較低。

發明內容

本申請實施例提供一種數據校驗方法、裝置、設備及可讀存儲介質，可以提高數據校驗效率。

第一方面，本申請提供一種數據校驗方法，包括：

獲取源數據表和目標數據表，確定該源數據表的表格類型和該目標數據表的表格類型；

若該源數據表的表格類型和該目標數據表的表格類型均為全量表格，則分別確定該源數據表中的數據量和該目標數據表中的數據量是否大于數據量閾值；

若該源數據表中的數據量和該目標數據表中的數據量均大于該數據量閾值，則對該源數據表進行分區處理，得到至少一個源分區表，以及對該目標數據表進行分區處理，得到至少一個目標分區表；

基于該至少一個源分區表中的源分區字段和該至少一個目標分區表中的目標分區字段進行數據校驗；

若任一源分區表中的源分區字段和對應的目標分區表中的目標分區字段之間的數據校驗不通過，則確定該源數據表與該目標數據表不一致，該對應的目標分區表為該至少一個目標分區表中與該任一源分區表對應的分區表。

第二方面，本申請提供一種數據校驗裝置，包括：

數據獲取模塊，用于獲取源數據表和目標數據表，確定該源數據表的表格類型和該目標數據表的表格類型；

數量確定模塊，用于若該源數據表的表格類型和該目標數據表的表格類型均為全量表格，則分別確定該源數據表中的數據量和該目標數據表中的數據量是否大于數據量閾值；

分區處理模塊，用于若該源數據表中的數據量和該目標數據表中的數據量均大于該數據量閾值，則對該源數據表進行分區處理，得到至少一個源分區表，以及對該目標數據表進行分區處理，得到至少一個目標分區表；

數據校驗模塊，用于基于該至少一個源分區表中的源分區字段和該至少一個目標分區表中的目標分區字段進行數據校驗；

結果確定模塊，用于若任一源分區表中的源分區字段和對應的目標分區表中的目標分區字段之間的數據校驗不通過，則確定該源數據表與該目標數據表不一致，該對應的目標分區表為該至少一個目標分區表中與該任一源分區表對應的分區表。

結合第二方面，在一種可能的實現方式中，該分區處理模塊，具體用于：

基于該源數據表中的數據量確定針對該源數據表的等分劃分規則，采用該等分劃分規則對該源數據表進行劃分，得到該至少一個源分區表；或者，