[發明專利]一種基于多維分析技術的數據質量健康度分析方法及系統

有效

• 申請號: 202011362385.8
• 申請日: 2020-11-27
• 公開（公告）號: CN112380190B
• 公開（公告）日: 2021-08-17
• 發明（設計）人: 金震;王兆君;康進港;李明;曹朝輝
• 申請（專利權）人: 北京三維天地科技股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/215;G06F16/28
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 田春龍

本發明公開了一種基于多維分析技術的數據質量健康度分析方法及系統，包括：獲取第一數量個目標業務數據樣本，利用預設相似度對比規則、預設完整性評估規則、預設唯一性評估規則和預設關聯性評估規則來構建數據分析模型，接收目標用戶選擇的目標評估類型，根據目標評估類型利用數據分析模型對第一數量個目標業務數據樣本進行分析評估，生成質量健康度分析報告，將質量健康度分析報告以圖形化的格式進行展示。既可以避免人工排查而浪費人力情況的發生又可以準確地對業務數據樣本的數據質量做出全面、高效的分析，及時地剔除掉無用數據從避免無用數據占用數據情況的發生，使得用戶可以無需面對無用數據的干擾，提高了用戶的使用體驗感。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于多維分析技術的數據質量健康度分析方法及系統。

背景技術

在企業數據標準化常態經營過程中，期望通過數據標準化管理反饋價值至業務，數據質量的重要性無論如何強調都是不過分的。在企業標準化數據常態經營過程中，低質量數據的產生是不可避免的，大批量的數據初始化、未處理歷史數據帶來的問題擴散、緊急業務產生的低質量數據，都將影響數據標準編碼庫的質量。控制低質量數據的產生幾率和及時發現低質量數據并進行有效的處理，是企業能夠組織開展的舉措，因此對企業數據質量管理的正確理解，并非是不產生低質量數據，這從實際而言是理論級目標，在企業數據質量管理實際操作中，是通過科學、有效、專業的管理和技術支持，減低并控制低質量數據的產生率和存在率，及時發現低質量數據并進行有效的處理，控制標準編碼庫的高健康度，但由于數據編碼庫的數據量龐大、數據信息復雜性、專業要求高等因素，人工進行質量保障存在難度，需通過專業的質量管理工具對標準數據編碼庫進行檢測，發現需要處理缺失數據、需去除的重復數據、需去除的噪聲數據、需處理的異常(但真實)的數據，通過專業化的數據質量管理平臺提供數據健康度分析，為數據清洗和治理提供依據，再使用數據清洗平臺進行數據清洗治理，從而保證數據的完整性、唯一性、一致性、精確性、合法性、及時性等數據質量?，F有技術中的數據質量管理方法無法對數據質量做出全面、高效的分析，進而導致無用數據的清理不完全從而占用數據內存和影響用戶調用數據，嚴重地影響了用戶的使用體驗感。

發明內容

針對上述所顯示出來的問題，本發明提出了一種基于多維分析技術的數據質量健康度分析方法及系統用以解決背景技術中提到的現有技術中的數據質量管理方法無法對數據質量做出全面、高效的分析，進而導致無用數據的清理不完全從而占用數據內存和影響用戶調用數據，嚴重地影響了用戶的使用體驗感的問題。

一種基于多維分析技術的數據質量健康度分析方法，包括以下步驟：

獲取第一數量個目標業務數據樣本；

利用預設相似度對比規則、預設完整性評估規則、預設唯一性評估規則和預設關聯性評估規則來構建數據分析模型；

接收目標用戶選擇的目標評估類型，根據所述目標評估類型利用所述數據分析模型對所述第一數量個目標業務數據樣本進行分析評估，生成質量健康度分析報告；

將所述質量健康度分析報告以圖形化的格式進行展示；

其中，所述目標評估類型為：相似度評估、完整性評估、唯一性評估和關聯性評估中的一種或者多種。

優選的，在獲取第一數量個目標業務數據樣本之前，所述方法還包括：

通過預設條件確定數據樣本的第一數量；

基于所述第一數量確定狀態函數；

根據所述狀態函數確定篩選條件，在第二數量個初始業務數據樣本中篩選出滿足所述篩選條件的第一數量個初始業務數據樣本，其中，所述第二數量大于所述第一數量；

將所述第一數量個初始業務數據樣本確認為所述第一數量個目標業務數據樣本。