[發(fā)明專利]一種數(shù)據(jù)校驗方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201610105129.8
• 申請日: 2016-02-25
• 公開（公告）號: CN107122368B
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計）人: 張賀
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京清源匯知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11644
• 代理人: 馮德魁

1.一種數(shù)據(jù)校驗方法，用于數(shù)據(jù)遷移系統(tǒng)，其特征在于，包括：

讀取數(shù)據(jù)校驗任務(wù)的配置文件，獲取數(shù)據(jù)校驗任務(wù)的配置參數(shù)；所述配置參數(shù)包括源表信息、目標(biāo)表信息及數(shù)據(jù)對比邏輯；

根據(jù)所述源表信息和所述目標(biāo)表信息，獲取待校驗的原始數(shù)據(jù)和目標(biāo)數(shù)據(jù)；

針對各個具有相同數(shù)據(jù)標(biāo)識的所述原始數(shù)據(jù)和所述目標(biāo)數(shù)據(jù)構(gòu)成的數(shù)據(jù)對，根據(jù)所述數(shù)據(jù)對比邏輯對所述數(shù)據(jù)對進(jìn)行數(shù)據(jù)校驗；

其中，所述源表信息包括存儲所述原始數(shù)據(jù)的源數(shù)據(jù)表的名稱、所述源數(shù)據(jù)表所屬源數(shù)據(jù)庫的名稱和所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識的名稱；所述目標(biāo)表信息包括存儲所述目標(biāo)數(shù)據(jù)的目標(biāo)數(shù)據(jù)表的名稱、所述目標(biāo)數(shù)據(jù)表所屬目標(biāo)數(shù)據(jù)庫的名稱、及與所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識的名稱相對應(yīng)的所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)標(biāo)識的名稱。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)校驗方法，其特征在于，所述獲取待校驗的原始數(shù)據(jù)和目標(biāo)數(shù)據(jù)，包括：

根據(jù)所述源數(shù)據(jù)表的名稱和所述源數(shù)據(jù)庫的名稱，構(gòu)建并執(zhí)行第一查詢語句以獲取所述原始數(shù)據(jù)；所述第一查詢語句是指，用于獲取所述原始數(shù)據(jù)的查詢語句；

針對獲取到的各個所述原始數(shù)據(jù)，根據(jù)所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識和所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)標(biāo)識的名稱，構(gòu)建第二查詢語句包括的第二查詢條件；所述第二查詢語句是指，用于獲取與所述原始數(shù)據(jù)相對應(yīng)的所述目標(biāo)數(shù)據(jù)的查詢語句；

根據(jù)所述第二查詢條件、所述目標(biāo)數(shù)據(jù)表的名稱和所述目標(biāo)數(shù)據(jù)庫的名稱，構(gòu)建所述第二查詢語句；

執(zhí)行所述第二查詢語句以獲取與所述原始數(shù)據(jù)相對應(yīng)的所述目標(biāo)數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)校驗方法，其特征在于，所述獲取待校驗的原始數(shù)據(jù)和目標(biāo)數(shù)據(jù)，包括：

根據(jù)所述源數(shù)據(jù)表的名稱、所述源數(shù)據(jù)庫的名稱和所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識的名稱，構(gòu)建并執(zhí)行第三查詢語句以獲取所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識；所述第三查詢語句是指，用于獲取所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識的查詢語句；

遍歷獲取到的各個所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識，根據(jù)所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識，獲取與所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識相對應(yīng)的所述原始數(shù)據(jù)，以及獲取與所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識相對應(yīng)的所述目標(biāo)數(shù)據(jù)；

相應(yīng)的，根據(jù)所述數(shù)據(jù)對比邏輯對所述數(shù)據(jù)對進(jìn)行數(shù)據(jù)校驗，采用如下方式：

在獲取到與所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識相對應(yīng)的所述原始數(shù)據(jù)、及與所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識相對應(yīng)的所述目標(biāo)數(shù)據(jù)之后，根據(jù)所述數(shù)據(jù)對比邏輯，對所述與所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識相對應(yīng)的所述原始數(shù)據(jù)、及所述與所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識相對應(yīng)的所述目標(biāo)數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)校驗方法，其特征在于，所述獲取與所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識相對應(yīng)的所述原始數(shù)據(jù)，包括：

根據(jù)所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識和所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識的名稱，構(gòu)建第四查詢語句包括的第四查詢條件；所述第四查詢語句是指，用于獲取與所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識相對應(yīng)的所述原始數(shù)據(jù)的查詢語句；

根據(jù)所述第四查詢條件、所述源數(shù)據(jù)表的名稱和所述源數(shù)據(jù)庫的名稱，構(gòu)建所述第四查詢語句；

執(zhí)行所述第四查詢語句，獲取與所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識相對應(yīng)的所述原始數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)校驗方法，其特征在于，所述原始數(shù)據(jù)采用分庫分表方式存儲；所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識的名稱包括所述源數(shù)據(jù)表的分表字段的字段名稱；在所述構(gòu)建所述第四查詢語句之前，還包括：

獲取所述源數(shù)據(jù)表的分表路由規(guī)則；

根據(jù)所述源數(shù)據(jù)表的分表字段的字段名稱、所述原始數(shù)據(jù)的數(shù)據(jù)標(biāo)識中的所述源數(shù)據(jù)表的分表字段的值、和所述源數(shù)據(jù)表的分表路由規(guī)則，計算獲取存儲所述原始數(shù)據(jù)的分庫的名稱和分表的名稱；

所述構(gòu)建所述第四查詢語句，采用如下方式：

以所述存儲所述原始數(shù)據(jù)的分庫的名稱所標(biāo)識的分庫中的、所述分表的名稱所標(biāo)識的分表為查詢對象，根據(jù)所述第四查詢條件構(gòu)建所述第四查詢語句。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)校驗方法，其特征在于，所述源表信息包括所述源數(shù)據(jù)表的分表路由規(guī)則；所述獲取所述源數(shù)據(jù)表的分表路由規(guī)則，采用如下方式：

根據(jù)所述源表信息，獲取所述源數(shù)據(jù)表的分表路由規(guī)則。