[發(fā)明專利]一種進行業(yè)務數據質量檢核的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110019064.6
• 申請日: 2021-01-07
• 公開（公告）號: CN112667622A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設計）人: 鄒幫山;趙洋;李成功;溫強
• 申請（專利權）人: 吉林銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28
• 代理公司: 北京紐樂康知識產權代理事務所(普通合伙) 11210
• 代理人: 劉艷艷

1.一種進行業(yè)務數據質量檢核的方法，其特征在于，包括以下步驟：

S1 定義業(yè)務數據標準，并定義所述業(yè)務數據標準對應的質量要求，以此獲得相應的標準集合；

S2 依據業(yè)務數據標準對應的質量要求，定義數據質量檢核方法和模型，以此獲得相應的數據質量檢核規(guī)則集合；

S3 獲取待質量檢核的業(yè)務源數據，并配置應用數據質量檢核規(guī)則和檢核方法，形成業(yè)務數據質量檢核方案集合；

S4 對業(yè)務數據檢核方案進行配置執(zhí)行，以此獲得業(yè)務數據質量問題數據列表。

2.根據權利要求1所述的進行業(yè)務數據質量檢核的方法，其特征在于，所述步驟S1具體包括：

S101 對業(yè)務數據標準分類進行定義，獲取業(yè)務數據標準的分類集合；

S102 根據步驟S101中定義的業(yè)務數據標準分類定義業(yè)務數據標準，形成數據標準的唯一編號和業(yè)務屬性集合，所述業(yè)務屬性包括標準中文名稱、業(yè)務數據定義和業(yè)務規(guī)則；

S103 依據定義的業(yè)務屬性集合，定義數據標準的技術屬性集合，所述技術屬性包括數據標準的數據類型、值域、代碼編碼規(guī)則、數據格式和計量單位；

S104 對定義的數據標準，進行數據查重處理校驗，以此獲得相應的數據標準集合。

3.根據權利要求2所述的進行業(yè)務數據質量檢核的方法，其特征在于，所述步驟S2具體包括：

S201 根據步驟S1所述業(yè)務數據標準中的業(yè)務數據定義和業(yè)務規(guī)則，從數據質量的規(guī)范性、完整性、唯一性和一致性方面，定義數據質量檢核的規(guī)則方法標準庫；

S202 根據所述業(yè)務數據標準中的數據類型為代碼值類的，定義元數據代碼值域的數據質量規(guī)則方法標準庫；

S203 依據數據質量檢核的規(guī)則方法標準庫和元數據代碼值域的數據質量規(guī)則方法標準庫，生成業(yè)務數據質量檢核模型。

4.根據權利要求3所述的進行業(yè)務數據質量檢核的方法，其特征在于，所述步驟S3具體包括：

S301 獲取待質量檢核的業(yè)務源數據的類型，與數據標準集合進行對照映射，生成業(yè)務數據質量檢核的字段列表集合；

S302 根據業(yè)務數據對照映射結果和數據質量檢核模型，選擇數據的規(guī)范性、完整性、唯一性和一致性檢核規(guī)則和檢核方法；

S303 依據選擇的檢核規(guī)則和檢核方法，生成業(yè)務數據質量檢核方案。

5.根據權利要求4所述的進行業(yè)務數據質量檢核的方法，其特征在于，所述步驟S4具體包括：

S401 獲取已定義的數據質量檢核方案，配置方案檢測時間計劃；

S402 依據定義的數據質量檢核方案的檢測時間計劃，自動執(zhí)行業(yè)務數據檢核；

S403 按照業(yè)務數據項自動生成存在質量問題的數據列表和數據檢核報告，進行業(yè)務數據質量的持續(xù)提升。

6.一種進行業(yè)務數據質量檢核的系統(tǒng)，其特征在于，包括：

數據標準管理模塊，用于定義業(yè)務數據標準和質量要求的數據集合；

檢核模型和檢核規(guī)則配置模塊，用于對所述數據標準管理模塊定義的數據標準和數據質量要求，進行定義數據檢核模型，以此獲得數據質量檢核的規(guī)則方法標準庫；

數據適配和數據采集獲取模塊，用于對源系統(tǒng)進行配置，自動化采集源系統(tǒng)的業(yè)務數據集合；

數據檢核和質量報告生成模塊，用于通過所述檢核模型和檢核規(guī)則配置模塊配置數據檢核方案，并對所述數據適配和數據采集獲取模塊采集的源系統(tǒng)數據進行定時輪詢的質量檢核，以此獲得數據質量報告。

7.根據權利要求6所述的進行業(yè)務數據質量檢核的系統(tǒng)，其特征在于，所述數據標準管理模塊包括：

數據標準子模塊，用于管理標準分類信息和數據標準信息，以此確定數據標準的唯一編號、業(yè)務屬性和技術屬性，形成數據標準集合；

維度值子模塊，用于代碼維度分類和代碼值域的管理，以此確定代碼標準的內容，形成維度值集合。