[發(fā)明專利]一種數(shù)據(jù)校驗方法、裝置及電子設備

有效

• 申請?zhí)枺?/td>: 201610105129.8
• 申請日: 2016-02-25
• 公開（公告）號: CN107122368B
• 公開（公告）日: 2021-05-28
• 發(fā)明（設計）人: 張賀
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京清源匯知識產(chǎn)權(quán)代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁

本申請公開了一種數(shù)據(jù)校驗的方法、裝置及電子設備，以及一種數(shù)據(jù)遷移系統(tǒng)。其中所述數(shù)據(jù)校驗的方法包括：讀取數(shù)據(jù)校驗任務的配置文件，獲取數(shù)據(jù)校驗任務的配置參數(shù)；所述配置參數(shù)包括源表信息、目標表信息及數(shù)據(jù)對比邏輯；根據(jù)所述源表信息和所述目標表信息，獲取待校驗的原始數(shù)據(jù)和目標數(shù)據(jù)；針對各個具有相同數(shù)據(jù)標識的所述原始數(shù)據(jù)和所述目標數(shù)據(jù)構(gòu)成的數(shù)據(jù)對，根據(jù)所述數(shù)據(jù)對比邏輯對所述數(shù)據(jù)對進行數(shù)據(jù)校驗。采用本申請?zhí)峁┑姆椒ǎ瑢?shù)據(jù)校驗任務的表達抽取成配置文件，在通用的數(shù)據(jù)校驗程序中，通過讀取配置文件獲取數(shù)據(jù)校驗任務的各種信息，進而對數(shù)據(jù)遷移前后的數(shù)據(jù)進行校驗，從而達到復用數(shù)據(jù)校驗程序的效果。

技術領域

本申請涉及數(shù)據(jù)處理技術領域，具體涉及一種數(shù)據(jù)校驗方法、裝置及電子設備，以及一種數(shù)據(jù)遷移系統(tǒng)。

背景技術

在業(yè)務系統(tǒng)的底層數(shù)據(jù)模型發(fā)生變化后，需要兼容老業(yè)務數(shù)據(jù)，因而需要將老數(shù)據(jù)模型中的數(shù)據(jù)遷移到新模型中，該處理過程被稱為數(shù)據(jù)遷移。由于新老數(shù)據(jù)模型在結(jié)構(gòu)上會有較大的差異，因此，數(shù)據(jù)遷移過程中需要將老模型中的字段轉(zhuǎn)換成對應的新模型字段。由于該轉(zhuǎn)換過程不僅是簡單的一一對應，往往存在復雜的邏輯，因而可能導致老業(yè)務數(shù)據(jù)遷移后系統(tǒng)不能正常兼容，從而影響業(yè)務系統(tǒng)的運行。為了保證業(yè)務系統(tǒng)的正常運行，在數(shù)據(jù)遷移完成后，需要對遷移后的數(shù)據(jù)進行校驗。數(shù)據(jù)遷移后的校驗是對遷移質(zhì)量的檢查，同時數(shù)據(jù)校驗的結(jié)果也是判斷新系統(tǒng)能否正式啟用的重要依據(jù)。

數(shù)據(jù)遷移后的校驗工作可采用兩種方式進行：人工驗證或腳本驗證。相對于腳本驗證而言，人工驗證耗費的人力資源較多，并且問題修復之后還需要進行重復測試，可見，人工驗證方法存在驗證效率低且穩(wěn)定性差的問題。腳本驗證的優(yōu)點為：可以重復執(zhí)行，避免重新遷移后測試人員的重復勞動，能夠增加測試用例的覆蓋范圍，可以對所有數(shù)據(jù)進行全量校驗，很好的補充了手工測試時業(yè)務場景缺失的問題。因此，數(shù)據(jù)遷移后的校驗工作通常采用腳本驗證的方法進行實施。

目前，腳本驗證方法采用定制的校驗程序，即：為特定的數(shù)據(jù)遷移任務開發(fā)特定的校驗程序。在定制的校驗程序中，需要寫入與特定數(shù)據(jù)遷移任務相關的業(yè)務代碼，包括一整套的數(shù)據(jù)庫查詢代碼、對比邏輯代碼及調(diào)度代碼，例如，源表信息、目標表信息、遍歷條件、字段遷移邏輯等。其中，源表信息用來描述待遷移的源數(shù)據(jù)表；目標表信息用來描述遷移后的目標數(shù)據(jù)表；遍歷條件用于指定程序校驗的數(shù)據(jù)范圍、及校驗數(shù)據(jù)的先后順序；字段遷移邏輯，指定源表中字段和目標表字段的對應關系。

通過分析可知，定制的校驗程序僅對特定數(shù)據(jù)遷移任務有效，而無法被所有數(shù)據(jù)遷移任務共用，因此，需要為每一個數(shù)據(jù)遷移任務分別編寫對應的數(shù)據(jù)校驗程序。開發(fā)人員為了減少開發(fā)成本，通常只是做到剛好能完成本次數(shù)據(jù)遷移任務的測試場景，很難做到完善、健壯的產(chǎn)品級別數(shù)據(jù)校驗代碼。這種校驗程序可能本身存在問題，甚至會影響到校驗結(jié)果。

綜上所述，現(xiàn)有技術存在數(shù)據(jù)校驗程序無法被復用的問題。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N數(shù)據(jù)校驗的方法、裝置及電子設備，用于數(shù)據(jù)遷移系統(tǒng)，以解決現(xiàn)有技術存在數(shù)據(jù)校驗程序無法被復用的問題。本申請另外提供一種數(shù)據(jù)遷移系統(tǒng)。

本申請?zhí)峁┮环N數(shù)據(jù)校驗方法，用于數(shù)據(jù)遷移系統(tǒng)，包括：

讀取數(shù)據(jù)校驗任務的配置文件，獲取數(shù)據(jù)校驗任務的配置參數(shù)；所述配置參數(shù)包括源表信息、目標表信息及數(shù)據(jù)對比邏輯；

根據(jù)所述源表信息和所述目標表信息，獲取待校驗的原始數(shù)據(jù)和目標數(shù)據(jù)；

針對各個具有相同數(shù)據(jù)標識的所述原始數(shù)據(jù)和所述目標數(shù)據(jù)構(gòu)成的數(shù)據(jù)對，根據(jù)所述數(shù)據(jù)對比邏輯對所述數(shù)據(jù)對進行數(shù)據(jù)校驗；

其中，所述源表信息包括存儲所述原始數(shù)據(jù)的源數(shù)據(jù)表的名稱、所述源數(shù)據(jù)表所屬源數(shù)據(jù)庫的名稱和所述原始數(shù)據(jù)的數(shù)據(jù)標識的名稱；所述目標表信息包括存儲所述目標數(shù)據(jù)的目標數(shù)據(jù)表的名稱、所述目標數(shù)據(jù)表所屬目標數(shù)據(jù)庫的名稱、及與所述原始數(shù)據(jù)的數(shù)據(jù)標識的名稱相對應的所述目標數(shù)據(jù)的數(shù)據(jù)標識的名稱。