[發明專利]動態化數據質量分析方法及平臺系統

有效

• 申請號: 201910695740.4
• 申請日: 2019-07-30
• 公開（公告）號: CN110472109B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 曾崛;汪浩
• 申請（專利權）人: 深圳中科保泰空天技術有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 曹柳

本申請實施例適用于大數據技術領域，公開了一種動態化數據質量分析方法及平臺系統，其中，方法包括：獲取待分析數據；動態配置和/或動態增加待分析數據對應的質量分析策略；根據質量分析策略，為待分析數據打上質量標簽，生成標簽數據。本申請實施例通過獲取待分析數據，為待分析數據打上質量標簽，得出質量分析結果，舍棄了傳統的硬編碼形式，數據質量維護容易、可統一管理以及靈活配置。

技術領域

本申請屬于大數據技術領域，尤其涉及一種動態化數據質量分析方法及平臺系統。

背景技術

當今社會，數據量正迅猛增長，數據的表示形式千變萬化，標志著我們已經進入了大數據時代。而大數據時代的到來，對數據管理和從數據中提取有價值的信息提出了挑戰。數據質量是有效分析和利用大數據的前提，是大數據產生跨區域、跨行業和跨部門價值的保障。

大數據是企業決策的基礎，但是，單純的數據量的積累不會對企業產生任何益處，只有建立適當的分析模型，并運用相應的技術手段，對大量的數據進行有效的深入加工，以此來發現隱含在大量數據中的信息并加以利用進而指導企業做出相關決策，才能將大數據的真正效用發揮到極致。

然而，目前的業務系統的數據質量分析基本都使用硬編碼形式實現，存在數據質量規則維護困難、缺乏統一管理以及不夠靈活等問題。

發明內容

本申請實施例提供一種動態化數據質量分析方法及平臺系統，以解決數據質量規則維護困難、缺乏統一管理以及不夠靈活等問題問題。

第一方面，本申請實施例提供一種動態化數據質量分析方法，包括：

獲取待分析數據；

動態配置和/或動態增加所述待分析數據對應的質量分析策略；

根據所述質量分析策略，為所述待分析數據打上質量標簽，生成標簽數據。

結合第一方面，在一種可能的實現方式中，所述動態配置和/或動態增加所述待分析數據對應的質量分析策略，包括：

從所述待分析數據的元數據中確定目標元數據，所述目標元數據為需要進行質量分析的元數據；

判斷是否存在目標元數據對應的目標質量分析策略；

當存在所述目標質量分析策略時，通過動態配置將所述目標質量分析策略作為所述質量分析策略；

當不存在所述目標質量分析策略時，動態增加所述目標元數據對應的質量分析策略。

結合第一方面，在一種可能的實現方式中，在判斷出存在所述目標質量分析策略之后，還包括：

判斷所述目標質量分析策略是否可用于所述目標元數據；

當所述質量分析規則可用于所述目標元數據時，進入將所述目標質量分析策略作為所述質量分析策略的步驟。

結合第一方面，在一種可能的實現方式中，所述動態增加所述目標元數據對應的質量分析策略，包括：

判斷所述元數據是否滿足質量分析策略的使用要求；

當所述元數據滿足所述使用要求時，判斷所述目標元數據是否為結構化數據；

當所述目標元數據為結構化數據時，動態配置并啟用所述目標元數據對應的質量分析規則；

當所述目標元數據為非結構化數據時，選擇與所述目標元數據對應的算法，并設定算法參數，啟用所述目標元數據對應的質量分析算法。

結合第一方面，在一種可能的實現方式中，在所述判斷所述元數據是否滿足質量分析策略的使用要求之后，還包括：

當所述元數據不滿足所述使用要求時，確定缺少的元數據；