[發明專利]數據校驗方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202111446609.8
• 申請日: 2021-11-29
• 公開（公告）號: CN114116724A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 陳雙琴
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/215
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

1.一種數據校驗方法，其特征在于，包括：

獲取源數據表和目標數據表，確定所述源數據表的表格類型和所述目標數據表的表格類型；

若所述源數據表的表格類型和所述目標數據表的表格類型均為全量表格，則分別確定所述源數據表中的數據量和所述目標數據表中的數據量是否大于數據量閾值；

若所述源數據表中的數據量和所述目標數據表中的數據量均大于所述數據量閾值，則對所述源數據表進行分區處理，得到至少一個源分區表，以及對所述目標數據表進行分區處理，得到至少一個目標分區表；

基于所述至少一個源分區表中的源分區字段和所述至少一個目標分區表中的目標分區字段進行數據校驗；

若任一源分區表中的源分區字段和對應的目標分區表中的目標分區字段之間的數據校驗不通過，則確定所述源數據表與所述目標數據表不一致，所述對應的目標分區表為所述至少一個目標分區表中與所述任一源分區表對應的分區表。

2.根據權利要求1所述的方法，其特征在于，所述對所述源數據表進行分區處理，得到至少一個源分區表，包括：

基于所述源數據表中的數據量確定針對所述源數據表的等分劃分規則，采用所述等分劃分規則對所述源數據表進行劃分，得到所述至少一個源分區表；或者，

基于所述源數據表中字段的字段類型確定針對所述源數據表的字段劃分規則，采用所述字段劃分規則對所述源數據表進行劃分，得到所述至少一個源分區表，所述字段劃分規則指示所述預設字段類型。

3.根據權利要求1所述的方法，其特征在于，所述數據校驗包括字段校驗和字段格式校驗；

所述基于所述至少一個源分區表中的源分區字段和所述至少一個目標分區表中的目標分區字段進行數據校驗，包括：

對所述源分區字段進行抽樣，得到至少一個源抽樣字段；

對所述目標分區字段進行抽樣，得到至少一個目標抽樣字段；

對所述至少一個源抽樣字段和所述至少一個目標抽樣字段進行字段校驗；

若所述字段校驗通過，則對所述至少一個源抽樣字段的字段格式和所述至少一個目標抽樣字段的字段格式進行字段格式校驗；

若所述字段格式校驗通過，則對所述至少一個源分區表中的剩余源分區字段和所述至少一個目標分區表中的剩余目標分區字段進行數據校驗。

4.根據權利要求3所述的方法，其特征在于，所述若任一源分區表中的源分區字段和對應的目標分區表中的目標分區字段之間的數據校驗不通過，則確定所述源數據表與所述目標數據表不一致，包括：

若任一源分區表中的源分區字段與對應的目標分區表中的目標分區字段均不匹配，則確定所述源數據表與所述目標數據表不一致；或者，

若所述至少一個源分區表中的每個源分區字段與所述至少一個目標分區表中的目標分區字段匹配，且所述至少一個源分區表中存在一個或多個源分區字段的字段格式與所述至少一個目標分區表中的目標分區字段格式均不匹配，則確定所述源數據表與所述目標數據表不一致。

5.根據權利要求1所述的方法，其特征在于，所述確定所述源數據表中的數據量和所述目標數據表中的數據量是否大于數據量閾值之后，所述方法還包括：

若所述源數據表中的數據量和所述目標數據表中的數據量均小于或等于所述數據量閾值，則對所述源數據表中的每個源字段與所述目標數據表中的每個目標字段進行字段校驗；

若所述字段校驗通過，則對所述源數據表中的每個源字段的字段格式與所述目標數據表中的每個目標字段的字段格式進行字段格式校驗；

若所述源數據表中存在一個或多個源字段的字段格式與所述目標數據表中的目標字段的字段格式均不匹配，則確定所述源數據表與所述目標數據表不一致。