[發明專利]使用源跟蹤剖析數據

有效

• 申請號: 201380055099.9
• 申請日: 2013-08-02
• 公開（公告）號: CN104737167B
• 公開（公告）日: 2019-01-04
• 發明（設計）人: 阿倫·安德森
• 申請（專利權）人: 起元科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22
• 代理公司: 隆天知識產權代理有限公司 72003
• 代理人: 章侃銥;張浴月

剖析數據包括訪問多個記錄集合以為每個特定集合存儲量化信息，包括：對于特定集合中記錄的至少一個選定字段，值計數條目的相應清單(300A?300C)，每個包括出現在所述選定字段中的值以及其中該值所出現的記錄數的計數。處理兩個或更多個所述集合的所述量化信息包括：對于來自第一集合和第二集合的每個的至少一個字段，將相應清單的所述值計數條目合并(302)以產生值計數條目組合清單(304)，并且將所述值計數條目組合清單的值計數條目聚合(306)，以產生特異字段值條目的清單(308)，其識別一特異值并且包括對所述兩個或更多個集合的每個中該特異值出現的記錄數加以量化的信息。

相關申請的交叉引用

本申請要求享有2012年10月22日提交的美國申請號61/716,766的優先權，該申請通過引用合并于此。

背景技術

本申請涉及使用源跟蹤(source tracking)剖析數據。

存儲的數據集常常包括各種特性未知的數據。例如，對于數據集的值范圍或典型值，數據集內不同字段之間的關系、或者不同字段的值之間的相關性可能是未知的。數據剖析(data profiling)可能涉及檢查數據集的源以便確定這種特性。

發明內容

在一個方案中，通常，一種用于剖析存儲在數據存儲系統中的數據，所述方法包括：通過耦合至所述數據存儲系統的接口來訪問存儲在所述數據存儲系統中的多個記錄集合，來為所述多個記錄集合的每個存儲量化信息，對于特定集合中所述記錄的至少一個選定字段而言，每個所述特定集合的所述量化信息包括值計數條目的相應清單，每個值計數條目包括出現在所述選定字段中的值以及所述值出現在所述選定字段中的記錄數的計數；以及處理兩個或更多個所述集合的所述量化信息以產生剖析總結信息。所述處理包括：對于來自所述兩個或更多個集合的至少第一集合和第二集合的每個的至少一個字段，將相應清單的所述值計數條目合并以產生值計數條目組合清單，以及將所述值計數條目組合清單的值計數條目聚合，以產生特異字段值條目的清單，所述特異字段值條目的至少一些從所述值計數條目的至少一個中識別出特異值并且包括對所述兩個或更多個集合的每個中所述特異值出現的記錄數加以量化的信息。

這些方案可包括一個或多個以下特征。

將所述相應清單的所述值計數條目合并包括基于來自所述值計數條目的值來將所述值計數條目排序。

將所述值計數條目排序包括基于來自所述值計數條目的所述值根據初級排序次序來排序，以及基于所述兩個或更多個集合的標識符根據次級排序次序來排序。

處理兩個或更多個所述集合的所述量化信息包括處理三個或更多個所述集合的所述量化信息。

所述方法還包括，對于所述三個或更多個集合中至少兩個集合的第一子集，根據所述特異字段值條目清單產生剖析總結信息，所述剖析總結信息包括所述第一子集中各個記錄集合的所述字段之間聯合運算的多個模式的結果。

所述方法還包括，對于所述三個或更多個集合中至少兩個集合的不同于所述第一子集的第二子集，根據所述特異字段值條目清單產生剖析總結信息，所述剖析總結信息包括所述第二子集中各個記錄集合的所述字段之間聯合運算的多個模式的結果。

對應于特定集合的值計數條目清單中的每個值計數條目還包括識別所述值出現在所述選定字段中的所述特定記錄集合內各個位置的位置信息。

所述處理包括：對于所述兩個或更多個集合的第三集合的至少一個字段，讀取相應清單的所述值計數條目以更新所述特異字段值條目清單，使得所述特異字段值條目的至少一些從所述第一集合、第二集合和第三集合的相應清單的值計數條目中識別出特異值并且包括對所述第一集合、第二集合和第三集合的每個中所述特異值出現的記錄數加以量化的信息。