[發明專利]一種基于多維分析技術的數據質量健康度分析方法及系統

有效

• 申請號: 202011362385.8
• 申請日: 2020-11-27
• 公開（公告）號: CN112380190B
• 公開（公告）日: 2021-08-17
• 發明（設計）人: 金震;王兆君;康進港;李明;曹朝輝
• 申請（專利權）人: 北京三維天地科技股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/215;G06F16/28
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 田春龍

1.一種基于多維分析技術的數據質量健康度分析方法，其特征在于，包括以下步驟：

獲取第一數量個目標業務數據樣本；

利用預設相似度對比規則、預設完整性評估規則、預設唯一性評估規則和預設關聯性評估規則來構建數據分析模型；

接收目標用戶選擇的目標評估類型，根據所述目標評估類型利用所述數據分析模型對所述第一數量個目標業務數據樣本進行分析評估，生成質量健康度分析報告；

將所述質量健康度分析報告以圖形化的格式進行展示；

其中，所述目標評估類型為：相似度評估、完整性評估、唯一性評估和關聯性評估中的一種或者多種；

對所述第一數量個目標業務數據樣本進行真實性檢測，其步驟包括：

將每個目標業務數據樣本進行分段，獲得多個數據段；

對每個目標業務數據樣本的每個數據段進行功能數據處理獲得每個數據段的哈希值；

根據每個目標業務數據樣本的多個哈希值獲取每個目標業務數據樣本的來源加權值；

根據每個目標業務數據樣本的多個哈希值和來源加權值利用預設真實度算法計算出每個目標業務數據樣本的目標真實度；

將目標真實度小于預設真實度的第一目標業務數據樣本進行刪除，保留目標真實度大于等于所述預設真實度的第二目標業務數據樣本；

統計所述第二目標業務數據樣本的數量，共獲得第三數量個第二目標業務數據樣本。

2.根據權利要求1所述基于多維分析技術的數據質量健康度分析方法，其特征在于，在獲取第一數量個目標業務數據樣本之前，所述方法還包括：

通過預設條件確定數據樣本的第一數量；

基于所述第一數量確定狀態函數；

根據所述狀態函數確定篩選條件，在第二數量個初始業務數據樣本中篩選出滿足所述篩選條件的第一數量個初始業務數據樣本，其中，所述第二數量大于所述第一數量；

將所述第一數量個初始業務數據樣本確認為所述第一數量個目標業務數據樣本。

3.根據權利要求1所述基于多維分析技術的數據質量健康度分析方法，其特征在于，所述利用預設相似度對比規則、預設完整性評估規則、預設唯一性評估規則和預設關聯性評估規則來構建數據分析模型，包括：

構建初始網絡模型；

在所述初始網絡模型中設置四個網絡節點；

將所述預設相似度對比規則、預設完整性評估規則、預設唯一性評估規則和預設關聯性評估規則分別與所述四個網絡節點進行對應；

對應完畢后，檢測每個網絡節點的穩定性；

當每個網絡節點的穩定性都合格時，確認所述始網絡模型收斂，獲得所述數據分析模型。

4.根據權利要求1所述基于多維分析技術的數據質量健康度分析方法，其特征在于，在接收目標用戶選擇的目標評估類型，根據所述目標評估類型利用所述數據分析模型對所述第一數量個目標業務數據樣本進行分析評估，生成質量健康度分析報告之前，所述方法還包括：對所述數據分析模型進行檢驗，步驟包括：

獲取第四數量個預設業務數據樣本；

預先確定每個預設業務數據樣本的第一完整性、每個預設業務數據樣本與其他預設業務數據樣本的第一相似度、每個預設業務數據樣本的第一唯一性和每個預設業務數據樣本與其他預設業務數據樣本的第一關聯性，獲取第一確定結果；

將所述第四數量個預設業務樣本輸入到所述數據分析模型中，接收所述數據分析模型輸出的每個預設業務數據樣本的第二完整性、每個預設業務數據樣本與其他預設業務數據樣本的第二相似度、每個預設業務數據樣本的第二唯一性和每個預設業務數據樣本與其他預設業務數據樣本的第二關聯性，獲取第二確定結果；

確認所述第一確定結果是否與第二確定結果相同，若是，確認所述數據分析模型準確無誤，否則，確認所述數據分析模型輸出數據有偏差，向目標用戶發出修復所述數據分析模型的提醒。