[發(fā)明專利]一種數(shù)據(jù)質量管理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811228360.1
• 申請日: 2018-10-22
• 公開（公告）號: CN109522318B
• 公開（公告）日: 2022-01-21
• 發(fā)明（設計）人: 范怡;蔣先虎;彭軼;高迪
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/24
• 分類號: G06F16/24;G06F16/26;G06Q40/02
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種數(shù)據(jù)質量管理方法，其特征在于，該方法包括：

對數(shù)據(jù)觀測指標進行配置，獲得指標配置表，其中，所述數(shù)據(jù)觀測指標表征數(shù)據(jù)報送中的關注點，所述指標配置表包括：支持分系統(tǒng)運算、支持分省運算、支持不同頻度運算、支持指標依賴、支持指標明細存儲、支持部分指標執(zhí)行和支持多維度計算；

對所述指標配置表中的指標配置信息，對所述數(shù)據(jù)觀測指標進行計算獲得指標值，并根據(jù)所述指標值在預設時間范圍內的變化數(shù)據(jù)，生成指標數(shù)據(jù)質量報告；

確定監(jiān)管報送數(shù)據(jù)的主題，其中，所述主題包括上游系統(tǒng)數(shù)據(jù)、人工補錄數(shù)據(jù)、數(shù)據(jù)報送、反饋錯誤和逾期數(shù)據(jù)；

對所述上游系統(tǒng)數(shù)據(jù)進行數(shù)據(jù)來源分析，并進行數(shù)據(jù)校驗分析，獲得上游系統(tǒng)數(shù)據(jù)分析結果；

對所述人工補錄數(shù)據(jù)進行數(shù)據(jù)量統(tǒng)計，并進行補錄原因分析，獲得人工補錄數(shù)據(jù)分析結果；

對所述數(shù)據(jù)報送進行分析，獲得數(shù)據(jù)報送結果，其中，所述數(shù)據(jù)報送結果包括正常報送數(shù)據(jù)量和逾期報送數(shù)據(jù)量；

根據(jù)預設字段維度對所述反饋錯誤進行分析，獲得反饋錯誤分析結果；

對所述逾期數(shù)據(jù)進行統(tǒng)計分析，獲得逾期數(shù)據(jù)分析結果；

根據(jù)所述上游系統(tǒng)數(shù)據(jù)分析結果、人工補錄數(shù)據(jù)分析結果、數(shù)據(jù)報送結果、反饋錯誤分析結果和逾期數(shù)據(jù)分析結果，生成主題化的數(shù)據(jù)質量報告；

根據(jù)所述指標值，確定預警閾值，對所述數(shù)據(jù)觀測指標進行預警處理，獲得預警信息；

根據(jù)所述指標數(shù)量質量報告、所述主題化的數(shù)據(jù)質量報告和所述預警信息，生成數(shù)據(jù)質量監(jiān)控分析報告。

2.根據(jù)權利要求1所述的方法，其特征在于，所述對數(shù)據(jù)觀測指標進行配置，獲得指標配置表，包括：

獲取數(shù)據(jù)報送中的關注點，將所述關注點定義為數(shù)據(jù)觀測指標；

根據(jù)各個關注點之間的關聯(lián)關系，確定各個數(shù)據(jù)觀測指標之間的指標依賴關系；

對所述指標依賴關系進行校驗，獲得滿足校驗條件的指標依賴關系；

根據(jù)所述數(shù)據(jù)觀測指標和校驗后的指標依賴關系，對所述數(shù)據(jù)觀測指標進行配置，獲得指標配置表。

3.根據(jù)權利要求2所述的方法，其特征在于，所述對所述指標配置表中的指標配置信息，對所述數(shù)據(jù)觀測指標進行計算獲得指標值，并根據(jù)所述指標值在預設時間范圍內的變化數(shù)據(jù)，生成指標數(shù)據(jù)質量報告，包括：

對所述指標配置表中的指標配置信息進行解析，獲得指標運算模式；

判斷所述指標配置表中是否存在待運算指標，如果是，則確定與所述待運算指標相匹配的指標運算模式；

根據(jù)與所述待運算指標相匹配的指標運算模式，對所述待運算指標進行匯總計算，獲得指標值；

根據(jù)所述指標值在預設時間范圍內的變化數(shù)據(jù)，生成指標數(shù)據(jù)質量報告，其中，所述指標數(shù)據(jù)質量報告用于對數(shù)據(jù)觀測指標的相關數(shù)據(jù)進行可視化展示。

4.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述指標值，確定預警閾值，對所述數(shù)據(jù)觀測指標進行預警處理，獲得預警信息，包括：

根據(jù)所述指標值，計算獲得數(shù)據(jù)觀測指標的均值和方差；

根據(jù)所述均值和方差，確定所述數(shù)據(jù)觀測指標的置信區(qū)間；

基于所述置信區(qū)間，確定預警閾值；

依據(jù)所述預警閾值，對所述數(shù)據(jù)觀測指標進行預警處理，獲得預警信息。