[發(fā)明專利]數(shù)據(jù)完整性自動監(jiān)控方法、裝置、設備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011171993.0
• 申請日: 2020-10-28
• 公開（公告）號: CN114416703A
• 公開（公告）日: 2022-04-29
• 發(fā)明（設計）人: 段季芳;王建宙;吳少擎;何德材;吳建民
• 申請（專利權）人: 北京中祥英科技有限公司;京東方科技集團股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/27
• 代理公司: 北京志霖恒遠知識產(chǎn)權代理事務所(普通合伙) 11435
• 代理人: 郭棟梁

1.一種數(shù)據(jù)完整性自動監(jiān)控方法，其特征在于，該方法包括：

在確定待執(zhí)行的數(shù)據(jù)整合任務時，獲取與所述數(shù)據(jù)整合任務相關的業(yè)務數(shù)據(jù)的數(shù)據(jù)偏移量；

根據(jù)所述數(shù)據(jù)偏移量確定與所述數(shù)據(jù)整合任務相關的業(yè)務數(shù)據(jù)是否完整；

在確定與所述數(shù)據(jù)整合任務相關的業(yè)務數(shù)據(jù)完整時，對與所述整合任務相關的業(yè)務數(shù)據(jù)執(zhí)行數(shù)據(jù)整合處理，以將所述數(shù)據(jù)整合處理結果寫入與所述數(shù)據(jù)整合任務相對應的主題區(qū)域。

2.如權利要求1所述的方法，其特征在于，該方法還包括：

在確定與所述數(shù)據(jù)整合任務相關的業(yè)務數(shù)據(jù)不完整時，提取所述不完整的業(yè)務數(shù)據(jù)；

根據(jù)所述不完整的業(yè)務數(shù)據(jù)生成與所述數(shù)據(jù)整合任務相關的關鍵信息；

將與所述數(shù)據(jù)整合任務相關的關鍵信息作為所述數(shù)據(jù)整合任務的標識信息。

3.如權利要求1所述的方法，其特征在于，所述獲取與所述數(shù)據(jù)整合任務相關的業(yè)務數(shù)據(jù)的數(shù)據(jù)偏移量，包括：

獲取預先創(chuàng)建的與所述數(shù)據(jù)整合任務相關的關聯(lián)數(shù)據(jù)源表；

根據(jù)所述數(shù)據(jù)整合任務的任務標識查找所述關聯(lián)數(shù)據(jù)源表，得到與所述數(shù)據(jù)整合任務相關的業(yè)務數(shù)據(jù)的數(shù)據(jù)偏移量。

4.如權利要求3所述的方法，其特征在于，創(chuàng)建與所述數(shù)據(jù)整合任務相關的關聯(lián)數(shù)據(jù)源表，包括：

獲取業(yè)務系統(tǒng)中存儲的第一業(yè)務數(shù)據(jù)表與分析數(shù)據(jù)庫中存儲的第二業(yè)務數(shù)據(jù)表，所述第二業(yè)務數(shù)據(jù)表是將所述業(yè)務系統(tǒng)中存儲的與所述第一業(yè)務數(shù)據(jù)表對應的業(yè)務數(shù)據(jù)復制到所述分析數(shù)據(jù)庫時生成的；

基于所述第一業(yè)務數(shù)據(jù)表和所述第二業(yè)務數(shù)據(jù)表計算與業(yè)務數(shù)據(jù)表對應的數(shù)據(jù)偏移量；

將所述與業(yè)務數(shù)據(jù)表對應的數(shù)據(jù)偏移量寫入所述關聯(lián)數(shù)據(jù)源表。

5.如權利要求4所述的方法，其特征在于，將所述業(yè)務系統(tǒng)中存儲的與所述第一業(yè)務數(shù)據(jù)表對應的業(yè)務數(shù)據(jù)復制到所述分析數(shù)據(jù)庫，包括：

抽取所述業(yè)務系統(tǒng)中的與所述第一業(yè)務數(shù)據(jù)表對應的業(yè)務數(shù)據(jù)的增量變更數(shù)據(jù)；

將所述增量變更數(shù)據(jù)寫入所述業(yè)務系統(tǒng)的本地文件；

從所述本地文件讀取所述增量變更數(shù)據(jù)推送至kafka消息隊列；

獲取所述kafka消息隊列中存儲的業(yè)務數(shù)據(jù)復制到所述分析數(shù)據(jù)庫中所述第二業(yè)務數(shù)據(jù)表。

6.如權利要求4所述的方法，其特征在于，當與所述業(yè)務系統(tǒng)中存儲的與所述第一業(yè)務數(shù)據(jù)表對應的業(yè)務數(shù)據(jù)發(fā)生局部變化時，所述將所述業(yè)務系統(tǒng)中存儲的與所述第一業(yè)務數(shù)據(jù)表對應的業(yè)務數(shù)據(jù)復制到所述分析數(shù)據(jù)庫包括：

將所述發(fā)生局部變化的業(yè)務數(shù)據(jù)復制到所述第二業(yè)務數(shù)據(jù)表中對應的位置。

7.如權利要求4所述的方法，其特征在于，所述基于所述第一業(yè)務數(shù)據(jù)表和所述第二業(yè)務數(shù)據(jù)表計算與業(yè)務數(shù)據(jù)表對應的數(shù)據(jù)偏移量包括：

根據(jù)業(yè)務表類型計算所述第一業(yè)務數(shù)據(jù)表和所述第二業(yè)務數(shù)據(jù)表之間的數(shù)據(jù)偏移量，得到與業(yè)務數(shù)據(jù)表對應的數(shù)據(jù)偏移量。

8.如權利要求7所述的方法，其特征在于，所述根據(jù)業(yè)務表類型計算所述第一業(yè)務數(shù)據(jù)表和所述第二業(yè)務數(shù)據(jù)表之間的數(shù)據(jù)偏移量，包括：

若所述業(yè)務表類型為全量表，則比較所述第一業(yè)務數(shù)據(jù)表所包含的全部業(yè)務數(shù)據(jù)和所述第二業(yè)務數(shù)據(jù)表所包含的全部業(yè)務數(shù)據(jù)之間的數(shù)據(jù)偏移量；

若所述業(yè)務表類型為增量表，則比較所述第一業(yè)務數(shù)據(jù)表所包含的發(fā)生業(yè)務變更的業(yè)務數(shù)據(jù)和所述第二業(yè)務數(shù)據(jù)表所包含的發(fā)生業(yè)務變更的業(yè)務數(shù)據(jù)之間的數(shù)據(jù)偏移量。

9.如權利要求1所述的方法，其特征在于，所述確定待執(zhí)行的數(shù)據(jù)整合任務，包括：

確定至少一個待執(zhí)行的數(shù)據(jù)整合任務中的一個或多個為目標數(shù)據(jù)整合任務；

針對所述目標數(shù)據(jù)整合任務，更新與所述目標數(shù)據(jù)整合任務相對應的任務狀態(tài)指示標識為第一狀態(tài)標識；

在所述目標數(shù)據(jù)整合任務執(zhí)行完成之后，更新與所述目標數(shù)據(jù)整合任務對應的任務狀態(tài)指示標識為第二狀態(tài)標識，返回循環(huán)執(zhí)行所述確定目標數(shù)據(jù)整合任務的步驟和更新所述目標數(shù)據(jù)整合任務相對應的任務狀態(tài)標識的步驟，直到所述待執(zhí)行的數(shù)據(jù)整合任務全部執(zhí)行為止。