[發明專利]數據質量稽核方法、裝置、設備及存儲介質

在審

• 申請號: 202111376117.6
• 申請日: 2021-11-19
• 公開（公告）號: CN114281807A
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 王慶
• 申請（專利權）人: 中國聯合網絡通信集團有限公司;聯通大數據有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2455
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 宋興;黃健

本申請提供一種數據質量稽核方法、裝置、設備及存儲介質，其中，該方法通過獲取待稽核數據，確定預設稽核方式，該預設稽核方式包括滑動時間窗口或滑動事件窗口，從而，根據該滑動時間窗口或滑動事件窗口，對上述待稽核數據進行數據采樣，獲得稽核采樣數據，根據預設校驗規則，對上述稽核采樣數據進行校驗，獲得稽核校驗結果，解決了現有數據稽核采用全量稽核的方式耗費較多的計算資源，稽核速度較慢的問題。

技術領域

本申請涉及數據校驗技術領域，尤其涉及一種數據質量稽核方法、裝置、設備及存儲介質。

背景技術

數據質量稽核是數據生命周期中生產、加工、傳輸、存儲、使用、交換等各個環節的數據質量控制。計算平臺通常根據數據質量規則來檢測數據質量是否滿足要求，對于質量不通過的進行相應處理。

在計算平臺對數據質量進行稽核時，通常會采用全量稽核的方式，進行數據質量檢測。

例如以數據倉儲中的數據稽核為例，在企業信息化進程中，數據倉庫在企業的中長期管理決策中扮演著越來越重要的角色，而隨著數據的體量越來越大、格式越來越豐富，管理決策的要求越來越嚴苛，進而也推動著數據倉庫的不斷發展。現有數據倉儲中的數據稽核基本都是采用全量稽核的方法，耗費了較多的計算資源，處理速度也較慢。

發明內容

本申請提供一種數據質量稽核方法、裝置、設備及存儲介質，解決了現有數據稽核耗費較多計算資源，處理速度較慢的問題。

第一方面，本申請提供一種數據質量稽核方法，該方法包括如下步驟：

獲取待稽核數據；

確定預設稽核方式，所述預設稽核方式包括滑動時間窗口或滑動事件窗口；

根據所述滑動時間窗口或所述滑動事件窗口，對所述待稽核數據進行數據采樣，獲得稽核采樣數據；

根據預設校驗規則，對所述稽核采樣數據進行校驗，獲得稽核校驗結果。

在一種可能的實現方式中，所述滑動時間窗口的步長和窗口大小均可調，所述滑動事件窗口的步長和窗口大小均可調。

在一種可能的實現方式中，所述獲取待稽核數據，包括：

確定待稽核的數據主題，根據所述數據主題，從預設消息隊列中獲取源數據；

根據所述源數據的數據結構，對所述源數據進行解析，得到所述待稽核數據。

在一種可能的實現方式中，所述確定預設稽核方式，包括：

判斷內存中是否緩存有所述預設稽核方式；

若所述內存中緩存有所述預設稽核方式，則獲取緩存的所述預設稽核方式，其中，所述預設稽核方式是經過預設時間，基于預設數據庫存儲的稽核方式刷新緩存后獲得的。

在一種可能的實現方式中，在所述根據預設校驗規則，對所述稽核采樣數據進行校驗，獲得稽核校驗結果之后，還包括：

根據所述稽核校驗結果和預設異常數據處理規則，對所述待稽核數據進行入庫處理。

在一種可能的實現方式中，所述稽核校驗結果包括校驗結果正常或校驗結果異常，所述預設異常數據處理規則包括正常入庫、丟棄或分開入庫；

所述根據所述稽核校驗結果和預設異常數據處理規則，對所述待稽核數據進行入庫處理，包括：

根據所述校驗結果正常或所述校驗結果異常，對所述待稽核數據進行正常入庫、丟棄或分開入庫處理。

在一種可能的實現方式中，在所述根據所述稽核校驗結果和預設異常數據處理規則，對所述待稽核數據進行入庫處理之后，還包括：

根據入庫處理結果生成告警和/或質量報告。