[發明專利]一種在數據稽核中對稽核結果進行質量評價的方法及裝置

在審

• 申請號: 202211643138.4
• 申請日: 2022-12-20
• 公開（公告）號: CN115952157A
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 毛恒
• 申請（專利權）人: 中盈優創資訊科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22
• 代理公司: 上海嘉藍專利代理事務所(普通合伙) 31407
• 代理人: 金波

本發明公開一種在數據稽核中對稽核結果進行質量評價的方法及裝置，其中，該方法包括：構建稽核模型，對稽核目標表進行數據質量稽核；判斷稽核類型，針對不同稽核類型，對本次稽核中的關鍵指標進行收集并計算；使用預置公式對本次稽核的數據質量進行打分；使用歷史評分均值修正本次評分；針對不同的稽核類型，使用本次稽核中的關鍵指標進行加權校準；根據校準后的評分，重新計算出歷史評分均值，供下次稽核使用。該方法及裝置在持續進行多輪數據稽核后，通過數據自動計算和修正，將評分的準確性逐步校準；評分模型主要使用百分比和變異系數，可以對不同稽核目標表的評分直接進行二次計算，從而得出多個稽核目標表聯合評分和整體稽核結果評分。

技術領域

本發明涉及數據質量稽核領域，尤其是一種在數據稽核中對稽核結果進行質量評價的方法及裝置。

背景技術

數據質量稽核是數據倉庫、數據共享、數據中臺和數據治理等場景中，非常重要的一個功能模塊，用以對環境中數據的準確性、完整性、唯一性、實時性和穩定性等各項綜合指標進行稽核。

在現有的數據稽核中，如何對稽核結果進行量化評價是一個大難題，通常是由稽核方制定一套相對簡單的評分公式，然后下放至所有稽核模型和稽核對象使用。此時，如果各稽核對象由于數據量不一致，業務場景不一致，就會導致稽核評分結果與真實情況出現極大偏離。

比如，對表A的字段a進行唯一性稽核，通常稽核流程會統計表A中字段a的總記錄數m，排重記錄數n，然后使用(m-n)*100/m或者直接用n*100/m來對這項稽核進行打分。很明顯，在這種打分體系里，是將總記錄數作為分母的，意味著稽核目標表的總數據量的級別，會對打分穩定性造成極大干擾。假設都是由于某項數據同步和加工的調度任務異常造成部分數據重復，一張100條記錄左右的稽核目標表，可能這次異常時段的質量評分相比正常時段會有近十個點的偏離，而一張表100萬條記錄左右的稽核目標表，可能只會有兩、三個點的偏離。

造成這一現象的原因，是目前的稽核評分公式都是相對靜態的，只針對每一輪期間從稽核對象中統計出的結果直接進行計算并輸出評價，沒有針對歷史稽核情況對當前稽核結果進行修正，以屏蔽掉稽核對象的總數據量和數據分布情況對評分結果造成的干擾。

發明內容

為了解決現有技術存在的上述問題，本發明提供一種在數據稽核中對稽核結果進行質量評價的方法及裝置。

為實現上述目的，本發明采用下述技術方案：

在本發明一實施例中，提出了一種在數據稽核中對稽核結果進行質量評價的方法，該方法包括：

構建稽核模型，對稽核目標表進行數據質量稽核；

判斷稽核類型，針對不同的稽核類型，對本次稽核中的關鍵指標進行收集并計算；

使用預置的標準評分公式對本次稽核的數據質量進行打分；

使用歷史評分均值修正本次評分；

針對不同的稽核類型，使用本次稽核中的關鍵指標進行加權校準；

根據校準后的評分，重新計算出歷史評分均值，供下次稽核使用。

進一步地，針對不同的稽核類型，對本次稽核中的關鍵指標進行收集并計算，包括：

統計稽核目標表的總記錄條數R和異常記錄條數R1；

唯一性稽核時，收集各枚舉值的重復次數n，計算變異系數C.V(n)；

完整性稽核時，收集各枚舉值的重復次數和缺失枚舉值數量，對缺失枚舉值使用對應的重復次數均值進行補數，再計算變異系數C.V(R’)；

實時性稽核時，收集各條記錄的實際時間與期望時間，計算均值M和均方誤差E；