[發(fā)明專利]一種數(shù)據(jù)全過程核對系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010057463.7
• 申請日: 2020-01-19
• 公開（公告）號: CN111241202A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設計）人: 張?zhí)?/a>
• 申請（專利權）人: 浪潮軟件股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2455;G06F16/242;G06F9/48;G06F9/50
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園

本發(fā)明公開了一種數(shù)據(jù)全過程核對系統(tǒng)，屬于數(shù)據(jù)比對領域，要解決的技術問題為如何脫離人工參與實現(xiàn)跨數(shù)據(jù)庫產(chǎn)品之間的業(yè)務數(shù)據(jù)一致性對比。系統(tǒng)包括：緩存庫；預警庫；策略編輯器，提供交互界面，用于通過交互界面編輯數(shù)據(jù)核對策略；策略庫，用于存儲數(shù)據(jù)核對策略；調度器，用于從策略庫中抽取數(shù)據(jù)核對策略，并推送數(shù)據(jù)核對策略；策略引擎，用于將接收的數(shù)據(jù)核對策略翻譯為可執(zhí)行的SQL語句、并在各個數(shù)據(jù)庫產(chǎn)品上執(zhí)行生成執(zhí)行結果，將執(zhí)行結果統(tǒng)一存儲至緩存庫，并用于對緩存庫中的數(shù)據(jù)進行對比生成對比結果，并將對比結果存儲至預警庫；預警引擎，用于從預警庫中讀取預警信息并發(fā)出預警。

技術領域

本發(fā)明涉及數(shù)據(jù)比對領域，具體地說是一種數(shù)據(jù)全過程核對系統(tǒng)。

背景技術

目前的電商交易系統(tǒng)中，數(shù)據(jù)層的架構多數(shù)較為復雜，都為多個數(shù)據(jù)庫產(chǎn)品的混合使用，通過ETL過程實現(xiàn)多個數(shù)據(jù)庫之間的數(shù)據(jù)同步。每個數(shù)據(jù)庫產(chǎn)品之間數(shù)據(jù)是否一致，成為一個普遍面對的課題。多個數(shù)據(jù)庫產(chǎn)品之間的數(shù)據(jù)對比過程，目前大部分都是采用人工根據(jù)，或者是監(jiān)控平臺的一部分，沒有策略可維護，耗費人力成本。

現(xiàn)有的數(shù)據(jù)核對方法為：查找需核對數(shù)據(jù)對應的原始數(shù)據(jù)；接收數(shù)據(jù)核對指令；根據(jù)所述數(shù)據(jù)核對指令獲取需核對數(shù)據(jù)對應的電子數(shù)據(jù)；判斷所述需核對數(shù)據(jù)對應的電子數(shù)據(jù)是否存在與所述需核對數(shù)據(jù)對應的原始數(shù)據(jù)不同的數(shù)據(jù)；在所述需核對數(shù)據(jù)對應的電子數(shù)據(jù)存在與所述需核對數(shù)據(jù)對應的原始數(shù)據(jù)不同的數(shù)據(jù)大于預設的數(shù)據(jù)量閾值時，顯示所述需核對數(shù)據(jù)對應的標準數(shù)據(jù)，以便用戶核對。上述方法沒有針對全過程數(shù)據(jù)庫產(chǎn)品做出明確描述，不提供對多個數(shù)據(jù)庫產(chǎn)品進行核對的思路，沒有明確的策略系統(tǒng)包括策略編輯器和策略引擎。

基于上述分析，如何脫離人工參與實現(xiàn)跨數(shù)據(jù)庫產(chǎn)品之間的業(yè)務數(shù)據(jù)一致性對比，是需要解決的技術問題。

發(fā)明內容

本發(fā)明的技術任務是針對以上不足，提供一種數(shù)據(jù)全過程核對系統(tǒng)，來解決如何脫離人工參與實現(xiàn)跨數(shù)據(jù)庫產(chǎn)品之間的業(yè)務數(shù)據(jù)一致性對比的問題。

本發(fā)明提供一種數(shù)據(jù)全過程核對系統(tǒng)，包括：

緩存庫；

預警庫；

策略編輯器，所述策略編輯器提供交互界面，用于通過交互界面編輯數(shù)據(jù)核對策略；

策略庫，所述策略庫用于存儲數(shù)據(jù)核對策略；

調度器，所述調度器用于從策略庫中抽取數(shù)據(jù)核對策略，并推送數(shù)據(jù)核對策略；

策略引擎，所述策略引擎用于將接收的數(shù)據(jù)核對策略翻譯為可執(zhí)行的SQL語句、并在各個數(shù)據(jù)庫產(chǎn)品上執(zhí)行生成執(zhí)行結果，將執(zhí)行結果統(tǒng)一存儲至緩存庫，并用于對緩存庫中的數(shù)據(jù)進行對比生成對比結果，并將對比結果存儲至預警庫；

預警引擎，所述預警引擎用于從預警庫中讀取預警信息并發(fā)出預警。

作為優(yōu)選，數(shù)據(jù)核對策略以業(yè)務點命名。

作為優(yōu)選，數(shù)據(jù)核對策略的內容包括單但不限于：

調度時間，所述調度時間主要用于描述開始執(zhí)行任務的時間；

調度節(jié)點，所述調度節(jié)點用于編輯調度時的前置條件，前置條件為調度時其它調度任務的完成情況；

數(shù)據(jù)采集點選擇，所述數(shù)據(jù)采集點選擇用于提供各個數(shù)據(jù)庫產(chǎn)品的元數(shù)據(jù)樹，支持用戶選擇對同一個業(yè)務點在不同數(shù)據(jù)庫產(chǎn)品上選擇不同的數(shù)據(jù)表進行對比，且支持用戶選擇在不同數(shù)據(jù)庫產(chǎn)品上選擇相同的數(shù)據(jù)表進行對比；

核對方式，所述核對方式包括數(shù)據(jù)條數(shù)核對和數(shù)據(jù)內容核對。

作為優(yōu)選，核對方式提供自定義方式，自定義方式允許輸入SQL，策略引擎根據(jù)在各個數(shù)據(jù)庫產(chǎn)品上的SQL運算結果進行對比。