[發明專利]一種數據計算流程中的數據核對方法、系統及存儲介質

在審

• 申請號: 202211711486.0
• 申請日: 2022-12-29
• 公開（公告）號: CN115934861A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 盧春輝;臧智濤;張敏;李建雨
• 申請（專利權）人: 企知道網絡技術有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22;G06F16/23
• 代理公司: 武漢維興專利代理有限公司 42298
• 代理人: 彭聰

本發明公開了一種數據計算流程中的數據核對方法、系統及存儲介質，涉及數據倉庫領域，包括以下步驟：獲取指定層級的數倉數據；從數倉數據中識別出若干重要表，確定出存在異常波動的重要表，基于預設的字段屬性、表屬性與異常級別之間的對應關系，確定每個存在異常波動的重要表的異常級別；根據每個異常級別以及對應的重要表分別生成異常通知并發送；判斷所有異常級別的權重是否均低于預設權重，若是，則執行當前指定層級的數據運算；若不是，則暫停當前指定層級的數據運算。在發現具有異常波動且對于后續數據計算存在較大影響的數據時，會暫停數據運算并通知工作人員，有利于提高數據計算結果的準確性以及數據計算過程中的穩定性。

技術領域

本發明涉及數據倉庫的技術領域，尤其是涉及一種數據計算流程中的數據核對方法、系統及存儲介質。

背景技術

數據倉庫，是為企業所有級別的決策制定過程，提供所有類型數據支持的戰略集合。數據倉庫包括原始數據層（ODS）、數據明細層（DWD）、數據匯總層（DWS）和數據應用層（ADS）。且這些層級是按照ODS-DWD-DWS-ADS的順序依次形成的，除了原始數據層是直接接入原始數據且基本不會對原始數據進行處理外，其余層都是在前一層的基礎上對數據做了一定的處理后生成的。

數據倉庫一般是通過數據應用層（ADS）的寬表來與其他數據庫進行導入對接，以滿足查詢、檢索等業務需求。而由于大數據數倉計算具有數據量大、計算節點多、計算流程長、數據處理邏輯復雜等特點，因此在數據計算過程中不可避免的會偶爾出現各種各樣的異常情況導致ads應用層級據不準確對業務系統造成影響，導致數據質量不高，從而影響業務流程或者用戶體驗。

因此有必要對對數據計算結果的準確性及數據計算過程的穩定性進行保障。

發明內容

為了提高數據計算結果的準確性以及數據計算過程中的穩定性，本申請提供一種數據計算流程中的數據核對方法、系統及存儲介質。

第一方面，本申請提供一種數據計算流程中的數據核對方法，采用如下的技術方案：

一種數據計算流程中的數據核對方法，包括以下步驟：

獲取指定層級的數倉數據；

從數倉數據中識別出若干重要表，

分別對每個重要表所對應的表屬性和/或字段屬性進行檢驗以確定出存在異常波動的重要表，

基于預設的字段屬性、表屬性與異常級別之間的對應關系，確定每個存在異常波動的重要表的異常級別；

根據每個異常級別以及對應的重要表分別生成異常通知并發送；

判斷所有異常級別的權重是否均低于預設權重，

若是，則執行當前指定層級的數據運算；

若不是，則暫停當前指定層級的數據運算。

通過上述技術方案，可實現對每個層級的數據的單獨核對，并在發現具有異常波動且對于后續數據計算存在較大影響的數據時，會暫停數據運算并通知工作人員，有利于提高數據計算結果的準確性以及數據計算過程中的穩定性。

可選的，所述字段屬性包括非空字段，所述分別對每個重要表所對應的表屬性和/或字段屬性進行檢驗以確定出存在異常波動的重要表，包括以下步驟：

獲取重要表中的非空字段，并分別判斷每個非空字段是否為空值，任意一個非空字段為空值，則確定對應的重要表存在異常波動。

可選的，所述表屬性包括可空字段，所述分別對每個重要表所對應的表屬性和/或字段屬性進行檢驗以確定出存在異常波動的重要表，包括以下步驟：

獲取重要表中的可空字段，計算每類可空字段的當前空值率，并從預設數據庫中匹配出可空字段所對應的歷史空值率；

根據歷史空值率和預設的允許波動值確定閾值；

判斷當前空值率是否超過對應的閾值，

若是，則確定對應的重要表存在異常波動。