[發明專利]數據質量檢測方法及裝置

在審

• 申請號: 202111626277.1
• 申請日: 2021-12-28
• 公開（公告）號: CN114490600A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 蔣勇;齊向東;吳云坤;徐彪;鄒品洛巍;邢云飛;邵銳;馮忠田;何安迪;顧靜玲;鄧婭婷;何雨薇;楊曉霞;熊攀
• 申請（專利權）人: 奇安信科技集團股份有限公司;網神信息技術（北京）股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

本發明提供一種數據質量檢測方法及裝置，其中的方法用于對數據庫中的數據進行質量檢測，包括：讀取數據庫中的待檢測數據；對所述待檢測數據進行基于檢測任務的計算，記錄檢測結果；基于所述檢測結果進行統計分析；其中，所述檢測任務基于預先設定的至少一個檢測規則生成，并且所述檢測任務與數據庫語法相匹配。本發明破了現有技術中集群限制，無需拉取數據庫中的待檢測數據到其他地方，故節約了數據傳輸時的資源消耗，消除數據遷移所帶來的安全隱患，并且具有很好的技術擴展性。

技術領域

本發明涉及計算機軟件的數據治理技術領域，尤其涉及一種數據質量檢測方法及裝置。

背景技術

數據治理是涉及數據使用的一整套管理行為。由企業數據治理部門發起并推行。數據治理的目的，是在業務環境下，使數據符合數據消費者的使用，滿足業務場景下的具體需求。

數據質量的檢測是數據治理的關鍵。在現有的大數據質量檢測方法中，需提前把需要檢測數據同步到hdfs文件系統，通過預先設置檢測計算方法(如枚舉檢測方法，設定兩個枚舉值：“abc”、“def”，當被檢測數據“nice”用此枚舉檢測方法檢測時，檢測結果為不合格，當被檢測數據“def”用此枚舉檢測方法檢測時，檢測結果為合格),將數據從hdfs讀取到計算引擎，逐條對數據執行檢測計算方法，最終得到每條數據的每個字段對于某個計算方法的檢測結果，然后將計算結果保存，通過自定義的得分規則，對表中的數據進行評分，或者做統計計算。

對于現有的檢測方法，存在以下缺點:

第一、hdfs集群限制,被檢測數據需要加載到hdfs文件系統，必須在hdfs集群環境下才能運作。

第二、加載數據耗時，耗資源在加載數據到hdfs文件系統時，需要消耗大量網絡帶寬和加載時間。

第三、安全風險，針對安全級別要求高的場景，數據離開原來的數據源，加載到hdfs文件系統存在安全隱患。

發明內容

本發明提供一種數據處理質量追蹤檢索方法及裝置，用以解決現有技術中，以。

本發明提供了一種數據質量檢測方法，用于對數據庫中的數據進行質量檢測，包括：讀取數據庫中的待檢測數據；對所述待檢測數據進行基于檢測任務的計算，記錄檢測結果；基于所述檢測結果進行統計分析。其中，所述檢測任務基于預先設定的至少一個檢測規則生成，并且所述檢測任務與數據庫語法相匹配。

根據本發明提供的數據質量檢測方法，所述數據庫為關系型數據庫；所述檢測任務為通過SQL腳本實現的檢測規則的集合。

根據本發明提供的數據質量檢測方法，所述關系型數據庫為：mysql、postgresql、oracle、db2、clickhouse、或hive。

根據本發明提供的數據質量檢測方法，所述檢測任務通過用于設定檢測規則的裝置生成，并發送至所述關系型數據庫中。

根據本發明提供的數據質量檢測方法，所述檢測任務為通過查詢語句實現的檢測規則的集合。

根據本發明提供的數據質量檢測方法，所述數據庫為elasticsearch。

根據本發明提供的數據質量檢測方法，所述檢測任務通過用于設定檢測規則的裝置生成，并發送至所述elasticsearch的服務器端。

根據本發明提供的數據質量檢測方法，所述檢測規則包括以下規則中的至少一種：枚舉規則、數值范圍規則、正則匹配規則、字符長度規則、存在一致性規則、數據一致性規則，以及，數據唯一性規則。