[發明專利]大數據離線數據質量檢查方法及裝置

在審

• 申請號: 202010596321.8
• 申請日: 2020-06-28
• 公開（公告）號: CN111897806A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 趙旭暉;張偵
• 申請（專利權）人: 蘇寧金融科技（南京）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/242;G06F16/28
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 顧友

本發明公開一種大數據離線數據質量檢查方法及裝置，涉及大數據技術領域，對運行在Hive數據倉庫上面的數據進行質量檢查，推動數據質量的提升。該方法包括：基于數據質量檢查系統中預設的檢查規則配置檢查語句；將檢查語句同步至大數據平臺的配置表中，由大數據平臺的程序腳本執行檢查語句并從數據倉庫中獲取檢查結果；數據質量檢查系統同步檢測結果，同時向用戶可視化展示。該裝置應用有上述方案所述的方法。

技術領域

本發明涉及大數據技術領域，尤其涉及一種大數據離線數據質量檢查方法及裝置。

背景技術

為了保證數據倉庫中數據的正確性和完整性，確保數據在抽取、傳輸、整合、加載、分析等各個環節不失真及準確表達，并為逐步修正和改善各業務系統中的數據質量、加強業務操作規范化管理等提供依據，數據質量檢查是數據倉庫建設中必不可少的重要組成部分。缺乏數據質量檢查將造成用戶對數據不認可、對數據缺少信任、增加構建數據倉庫的難度等后果。

在數據倉庫建設過程中，數據質量檢查需要從源數據分析開始，自始至終全程貫徹落實，并要求得到數據倉庫的全體開發人員、管理人員及相關業務人員的積極參與，使各方對數據質量有一個合理的預期和客觀的評價，提高數據倉庫的使用率和可信度，更好地為決策分析提供服務。

發明內容

本發明的目的在于提供一種大數據離線數據質量檢查方法及裝置，對運行在Hive數據倉庫上面的數據進行質量檢查，推動數據質量的提升。

為了實現上述目的，本發明的第一方面提供一種大數據離線數據質量檢查方法，包括：

基于數據質量檢查系統中預設的檢查規則配置檢查語句；

將所述檢查語句同步至大數據平臺的配置表中，由大數據平臺的程序腳本執行所述檢查語句并從數據倉庫中獲取檢查結果；

數據質量檢查系統同步所述檢測結果，同時向用戶可視化展示。

優選地，數據質量檢查系統中預設的檢查規則包括：

數據及時性檢查規則、字段非空檢查規則、字段值域檢查規則、字段唯一性檢查規則、字段數據長度檢查規則、字段特定值占比檢查規則、數據量同比檢查規則、數據量環比檢查規則、記錄數一致性檢查規則、數據子集檢查規則中的一種或多種。

較佳地，基于數據質量檢查系統中預設的檢查規則配置檢查語句的方法包括：

根據檢測需求在數據質量檢查系統中選擇對應的檢查規則，并配置檢測參數；

基于所選的檢查規則和配置的檢測參數，自動生成SQL檢查語句。

進一步地，在步驟將所述檢查語句同步至大數據平臺的配置表中，由大數據平臺的程序腳本執行所述檢查語句并從數據倉庫中獲取檢查結果之前還進行以下配置參數設置：

通過數據質量檢查系統中的工作流配置模塊，設置檢查語句在大數據平臺上的定時執行時間；

通過數據質量檢查系統中的預定義參數配置模塊，對檢查語句中的檢測參數做定期更新；

通過數據質量檢查系統中的源系統配置模塊，設置數據倉庫中待查數據的歸屬系統并關聯對應責任人；

通過數據質量檢查系統中的告警原因配置模塊，預設多種產生數據質量問題原因的分類。

優選地，將所述檢查語句同步至大數據平臺的配置表中，由大數據平臺的程序腳本執行所述檢查語句并從數據倉庫中獲取檢查結果的方法包括：

通過大數據平臺將檢查語句和配置參數同步到配置表中，由大數據平臺的程序腳本定時執行相應的檢查語句對數據倉庫的數據執行篩檢；

利用大數據平臺把檢查結果中的合格數據記錄到結果表中，把檢查結果中的異常數據記錄到異常表中。