[發明專利]基于檢核腳本的數據檢核方法、裝置、電子設備以及介質

在審

• 申請號: 202010537584.1
• 申請日: 2020-06-12
• 公開（公告）號: CN111796907A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 王彬
• 申請（專利權）人: 中國建設銀行股份有限公司;建信金融科技有限責任公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/445
• 代理公司: 北京市蘭臺律師事務所 11354
• 代理人: 張峰

本申請提供了一種基于檢核腳本的數據檢核方法、裝置、電子設備以及介質。數據檢核方法包括：響應于用戶的規則配置操作，生成規則配置文件；讀取配置規則文件，為配置規則文件中的每個預設字段生成對應的檢核腳本；執行檢核腳本以對目標數據中的各字段進行檢核，根據每個字段的檢核結果確定出對應類型的檢核表以供用戶查看。該核方法是基于標準數據庫的sql定義檢核規則，用戶只需要掌握標準的sql語句編寫技能即可開發出規則。而且，基于文本的規則配置，用戶不需要進行大量操作即可完成大批量的規則定制。該數據檢核方法可以自動化生成檢核腳本(sql腳本)，簡化了部署上線和修改的工作，還可以展示檢核表，便于用戶進行數據修正。

技術領域

本申請涉及數據檢核的技術領域，具體而言，本申請涉及一種基于檢核腳本的數據檢核方法、裝置、電子設備以及介質。

背景技術

數據檢核是數據加工過程中重要的環節，通過數據檢核環節可以發現輸入數據中存在的質量問題，進而通過生成數據檢核的結果或者數據檢核報告，督促提供數據的人或者公司對數據質量進行提升或者錯誤的修復，為后續數據加工提供良好的數據基礎。然而，現有的基于軟件的數據檢核方案存對軟件存在較大的依賴性，例如：

(1)如果基于開源軟件，用戶如果想需要對檢核規則進行調整(新增或者修改)，就需要對開源代碼充分了解的情況下，進行代碼修改、編譯和部署，對用戶技能要求很高。

(2)如果是基于商業軟件的檢核方案，則需要不菲的軟件采購或者授權費用。此外,基于軟件的檢核，通常只能在頁面上通過托拉拽的圖標操作來進行規則配置，無法批量導入規則(例如文本、excel等方式導入)，對于新增大量的數據(這里的大量不是指大數據量，而是大量新增的結構不同的數據，每個新增的數據都要建立對應的檢核規則)檢核需要花費大量時間在頁面上托拽圖標，并點擊頁面上的各種按鈕或者輸入框進行檢核參數配置。

(3)如果是基于自編碼的數據檢核方案，則需要用戶開發大量的代碼。用戶需要對每種檢核規則編寫代碼，如果后續由新增的規則，還需要對程序進行修改、編譯和部署上線，需要進行大量的回歸測試等工作。

發明內容

本申請針對現有方式的缺點，提出一種基于檢核腳本的數據檢核方法、裝置、電子設備以及介質，用以解決上述至少一個技術問題。

第一方面，本申請實施例提供了一種基于檢核腳本的數據檢核方法，包括：響應于用戶的規則配置操作，生成規則配置文件；

讀取配置規則文件，為配置規則文件中的每個預設字段生成對應的檢核腳本；

執行檢核腳本以對目標數據中的各字段進行檢核，根據每個字段的檢核結果確定出對應類型的檢核表以供用戶查看。

在本申請的一個實施例中，規則配置文件至少包括：至少一個預設字段、用于檢核每個預設字段的規則表達式、每個規則表達式對應的檢核級別、以及每個檢核級別所對應的問題描述內容。

在本申請的一個實施例中，為配置規則文件中的每個預設字段生成對應的檢核腳本，包括：根據預設字段的規則表達式生成，生成預設字段對應的檢核腳本。

在本申請的一個實施例中，根據每個字段的檢核結果確定出對應類型的檢核表，包括：若字段的檢核結果為真，則將該字段的源記錄復制插入檢核成功表。

在本申請的一個實施例中，根據每個字段的檢核結果確定出對應類型的檢核表，包括：若字段的檢核結果為非真且檢核級別為警告，則將該字段的源記錄插入檢核問題表，以及將該字段的源記錄復制入檢核成功表。

在本申請的一個實施例中，根據每個字段的檢核結果確定出對應類型的檢核表，包括：若字段的檢核結果為非真且檢核級別為錯誤，則將該字段的源記錄插入檢核問題表。

在本申請的一個實施例中，檢核問題表至少包括：檢核結果為非真的字段、檢核結果為非真的字段對應的檢核級別、以及每個檢核級別對應的問題描述內容。