[發明專利]數據檢測方法、裝置及存儲介質

有效

• 申請號: 201911128376.X
• 申請日: 2019-11-18
• 公開（公告）號: CN111177176B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 司徒健聰
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 夏歡

本發明實施例提供了一種數據檢測方法、裝置及存儲介質，電子設備通過獲取待測數據庫的數據表信息，其包含有該待測數據庫存儲的至少一個數據表，以及各數據表包含的字段信息，響應針對至少一個數據表的選擇操作，輸出針對所選擇的目標數據表的規則配置界面后，用戶可以進行選擇，電子設備響應針對該規則配置界面的操作，得到包含目標數據檢測表對應的不同字段信息的規則配置信息的目標數據檢測規則后，利用結構化查詢語言SQL，可以將目標數據檢測規則自動轉換為數據檢測腳本，不需要用戶手動編寫復雜的數據檢測腳本，降低了對用戶能力要求，提高了腳本制定效率及準確性，以及數據檢測方法的普適性。

技術領域

本發明涉及大數據分析領域，具體涉及一種數據檢測方法、裝置及存儲介質。

背景技術

在如今的大數據時代，為了提高數據處理效率，大部分業務應用都會先進行數據抽取操作，即從源數據系統抽取目標數據系統需要的數據，再根據業務需求對抽取到的數據進行處理。

現有技術中，通常是針對目標業務對數據質量的檢測要求，由技術人員采用結構化查詢語言(Structured?Query?Language，SQL)編寫相應的數據檢測腳本，通過執行該數據檢測腳本，得到針對目標業務的數據質量檢測結果，如篩選出滿足業務要求的數據、不滿足業務要求的數據等等。

可見，現有的這種數據檢測方法中，需要技術人員熟練掌握SQL語言，才能夠編寫出合適的數據檢測腳本，以滿足該目標業務的數據檢測需求，這對其應用范圍具有很大局限性。

發明內容

有鑒于此，本發明實施例提供一種數據檢測方法、裝置及存儲介質，電子設備針對待測數據庫的數據表信息，輸出相應的規則配置界面，以使得用戶能夠直接選擇輸入各數據表的各字段信息的檢測規則內容，進而利用結構化查詢語言，將目標數據檢測規則自動生成數據檢測腳本，無需手動編碼，且能夠實現對不同類型的數據庫的數據檢測，滿足不同業務的數據檢測需求，提高了數據檢測方法的普適性。

為實現上述目的，本發明實施例提供如下技術方案：

本發明實施例提供了一種數據檢測方法，所述方法包括：

獲取待測數據庫的數據表信息，所述數據表信息包括所述待測數據庫存儲的至少一個數據表，以及所述數據表包含的字段信息；

響應針對所述至少一個數據表的選擇操作，輸出針對所選擇的目標數據表的規則配置界面；

響應于針對所述規則配置界面的操作，得到目標數據檢測規則，所述目標數據檢測規則包括所述目標數據表對應的不同字段信息的規則配置信息；

利用結構化查詢語言，將所述目標數據檢測規則轉換為目標數據檢測腳本。

在一些實施例中，所述響應針對所述至少一個數據表的選擇操作，輸出針對所選擇的目標數據表的規則配置界面，包括：

響應針對所述至少一個數據表的選擇操作，得到目標數據表，并輸出所述目標數據表對應的字段信息；

響應于針對任一字段信息的配置請求，輸出相應的字段規則配置界面。

在一些實施例中，所述響應于針對所述規則配置界面的操作，得到目標數據檢測規則，包括：

響應于針對所述字段規則配置界面的輸入操作，生成相應字段信息的字段檢測模板，所述字段檢測模板包含針對相應字段信息的至少一條規則描述信息；

利用所述目標數據表對應的各字段信息的字段檢測模板，生成針對所述待測數據庫的目標數據檢測規則。

在一些實施例中，響應于針對所述字段規則配置界面的輸入操作，生成相應字段信息的字段檢測模板，包括：

響應于針對所述字段規則配置界面的輸入操作，以列表形式對得到的規則描述信息進行展示；