[發(fā)明專利]實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)校驗(yàn)方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110483615.4
• 申請(qǐng)日: 2021-04-30
• 公開（公告）號(hào): CN113076310A
• 公開（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 楊濤;王宇
• 申請(qǐng)（專利權(quán)）人: 浙江太美醫(yī)療科技股份有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/21
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 杜娟;駱希聰

1.一種實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)校驗(yàn)方法，所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)與業(yè)務(wù)數(shù)據(jù)庫(kù)進(jìn)行實(shí)時(shí)數(shù)據(jù)同步，其特征在于，所述方法包括：

記錄一校驗(yàn)時(shí)刻；

從所述業(yè)務(wù)數(shù)據(jù)庫(kù)中獲取所述校驗(yàn)時(shí)刻之前的業(yè)務(wù)數(shù)據(jù)；

等待一預(yù)設(shè)時(shí)長(zhǎng)之后，從所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)中獲取同步數(shù)據(jù)，所述同步數(shù)據(jù)對(duì)應(yīng)于所述業(yè)務(wù)數(shù)據(jù)；

對(duì)比所述業(yè)務(wù)數(shù)據(jù)和所述同步數(shù)據(jù)，獲得所述業(yè)務(wù)數(shù)據(jù)和所述同步數(shù)據(jù)之間的差異數(shù)據(jù)集合；以及

根據(jù)所述差異數(shù)據(jù)集合獲得所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的校驗(yàn)結(jié)果。

2.如權(quán)利要求1所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，所述記錄一校驗(yàn)時(shí)刻的步驟包括：

采用大數(shù)據(jù)計(jì)算框架啟動(dòng)一批處理作業(yè)，所述批處理作業(yè)適于從所述業(yè)務(wù)數(shù)據(jù)庫(kù)中獲取所述業(yè)務(wù)數(shù)據(jù)，以及從所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)中獲取所述同步數(shù)據(jù)；以及

記錄所述批處理作業(yè)的啟動(dòng)時(shí)間，將所述啟動(dòng)時(shí)間作為所述校驗(yàn)時(shí)刻。

3.如權(quán)利要求2所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，所述大數(shù)據(jù)計(jì)算框架包括ApacheSpark框架。

4.如權(quán)利要求2所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，所述對(duì)比所述業(yè)務(wù)數(shù)據(jù)和所述同步數(shù)據(jù)的步驟包括：

按照唯一主鍵將所述業(yè)務(wù)數(shù)據(jù)和所述同步數(shù)據(jù)對(duì)應(yīng)起來(lái)，形成合并數(shù)據(jù)表，其中，具有相同唯一主鍵的所述業(yè)務(wù)數(shù)據(jù)和所述同步數(shù)據(jù)位于所述合并數(shù)據(jù)表中的同一行；以及

在所述合并數(shù)據(jù)表中逐行對(duì)比所述業(yè)務(wù)數(shù)據(jù)和所述同步數(shù)據(jù)，獲得所述業(yè)務(wù)數(shù)據(jù)和所述同步數(shù)據(jù)不一致的差異數(shù)據(jù)。

5.如權(quán)利要求4所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，所述差異數(shù)據(jù)集合包括以下三種錯(cuò)誤：第一錯(cuò)誤，所述業(yè)務(wù)數(shù)據(jù)包括所述唯一主鍵對(duì)應(yīng)的第一數(shù)據(jù)，所述同步數(shù)據(jù)包括所述唯一主鍵對(duì)應(yīng)的第二數(shù)據(jù)，所述第一數(shù)據(jù)和所述第二數(shù)據(jù)對(duì)應(yīng)于相同的字段，所述第一數(shù)據(jù)不同于所述第二數(shù)據(jù)；第二錯(cuò)誤，所述業(yè)務(wù)數(shù)據(jù)中包括所述第一數(shù)據(jù)，所述同步數(shù)據(jù)中不包括所述第二數(shù)據(jù)；以及第三錯(cuò)誤，所述業(yè)務(wù)數(shù)據(jù)中不包括所述第一數(shù)據(jù)，所述同步數(shù)據(jù)中包括所述第二數(shù)據(jù)。

6.如權(quán)利要求5所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)包括刪除標(biāo)記字段，所述刪除標(biāo)記字段用于標(biāo)記所述同步數(shù)據(jù)是否經(jīng)過軟刪除操作，所述軟刪除操作不實(shí)際刪除所述同步數(shù)據(jù)。

7.如權(quán)利要求6所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，在所述第二錯(cuò)誤下，根據(jù)所述差異數(shù)據(jù)集合獲得所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的校驗(yàn)結(jié)果的步驟包括：查找所述刪除標(biāo)記字段，若所述刪除標(biāo)記字段中不包括對(duì)應(yīng)于所述第二數(shù)據(jù)的記錄，則所述校驗(yàn)結(jié)果為所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)具有錯(cuò)誤。

8.如權(quán)利要求1所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，所述業(yè)務(wù)數(shù)據(jù)庫(kù)中包括數(shù)據(jù)變更日志，所述數(shù)據(jù)變更日志中包括所述業(yè)務(wù)數(shù)據(jù)中的任意數(shù)據(jù)發(fā)生變更的變更時(shí)間，根據(jù)所述差異數(shù)據(jù)集合獲得所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的校驗(yàn)結(jié)果的步驟包括：比較所述變更時(shí)間和所述校驗(yàn)時(shí)刻，若所述變更時(shí)間早于所述校驗(yàn)時(shí)刻，則所述校驗(yàn)結(jié)果為所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)具有錯(cuò)誤。

9.如權(quán)利要求8所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，所述數(shù)據(jù)變更日志是二進(jìn)制日志binlog。

10.如權(quán)利要求1所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)包括kudu數(shù)據(jù)庫(kù)，所述業(yè)務(wù)數(shù)據(jù)庫(kù)包括MySQL數(shù)據(jù)庫(kù)。

11.如權(quán)利要求1所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，由采集系統(tǒng)執(zhí)行所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)與所述業(yè)務(wù)數(shù)據(jù)庫(kù)的實(shí)時(shí)數(shù)據(jù)同步，所述采集系統(tǒng)具有系統(tǒng)延遲，所述預(yù)設(shè)時(shí)長(zhǎng)等于所述系統(tǒng)延遲。

12.如權(quán)利要求1所述的數(shù)據(jù)校驗(yàn)方法，其特征在于，還包括：當(dāng)所述校驗(yàn)結(jié)果為所述實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)具有錯(cuò)誤時(shí)，修復(fù)所述錯(cuò)誤。