[發明專利]數據管理方法、冗余數據檢測方法、存儲介質及數據系統

有效

• 申請號: 202010094498.8
• 申請日: 2020-02-16
• 公開（公告）號: CN110929493B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 高偉;李勁松;黎展宏;許仙邦;龐日海;丘志新;吳冬銘
• 申請（專利權）人: 廣州信安數據有限公司
• 主分類號: G06F40/18
• 分類號: G06F40/18;G06F16/22;G06F16/215
• 代理公司: 廣州永華專利代理有限公司 44478
• 代理人: 勞覓

本發明提供數據管理方法，在表單建立時，數據在數據庫的存儲位置作為其來源地址記錄在表單中，在判斷兩個表單是否形成冗余數據時，根據各個數據的來源地址倒推出表單建立時的數據獲取過程，對比這兩個表單建立時的數據獲取過程，若不同則判斷這兩個表單沒有形成冗余數據，而兩個表單建立時的數據獲取過程不同意味著這兩個表單是不同的，所以不會把不同表單誤判斷為形成了冗余數據，因此能準確地檢測出兩個表單是否形成冗余數據。

技術領域

本發明涉及數據處理技術領域，特別涉及數據管理方法、冗余數據檢測方法、計算機可讀存儲介質及數據管理系統。

背景技術

隨著移動互聯網、物聯網等技術的飛速發展，全球數據量呈現出飛速增長的現象，數據量的飛速增長預示著現在已經進入了大數據時代。目前許多企業、機關單位等利用數據管理系統進行大數據建設，大數據建設使得企業、機關單位等在客戶行為分析方面具有很好的數據基礎，數據管理系統能根據數據基礎建立表單供企業、機關單位等深入分析客戶行為特征和規律，從而發現客戶的潛在消費需求，故大數據建設是提升企業、機關單位等價值和經營水平的有效手段，這對企業、機關單位等的發展起到非常重要的作用。

但是，若企業、機關單位等內部的不同部門就數據庫中相同的數據分別建立相同的表單，則各個表單中的數據結構，例如數據的名稱、類型和字段長度基本相同，從而導致數據庫的相同表單形成冗余數據。盡管用于大數據建設的計算機越來越多，性能越來越好，但是面對海量的數據仍然力不從心，因此大數據建設的第一步，是檢測并消除數據庫的冗余數據。因此，數據管理系統還通過對比兩個表單的數據結構來檢測是否形成冗余數據，若這兩個表單數據結構相似度超過一定值，則判斷這兩個表單相同，即這兩個表單形成了冗余數據，但是，由于數據庫存在海量的數據，兩個不同表單的數據結構也可能會相同，因此單純對比兩個表單的數據結構可能會把不同的兩個表單誤判斷為形成了冗余數據。

發明內容

本發明提供一種數據管理方法，其不會把不同的表單誤判斷為形成了冗余數據。

本發明提供的數據管理方法包括：

表單建立步驟.從數據庫獲取多個數據形成表單，對所獲取的每個數據，以該數據在數據庫的存儲位置作為其來源地址，記錄在表單中；

冗余數據檢測步驟.判斷兩個表單是否形成冗余數據，具體地，對每個表單，從表單中提取出各個數據的來源地址，根據各個數據的來源地址倒推出表單建立時的數據獲取過程；對比這兩個表單建立時的數據獲取過程，若不同則判斷這兩個表單沒有形成冗余數據。

優選地，在所述冗余數據監測步驟中，還對比這兩個表單的數據結構，若這兩個表單數據結構相似度大于預設值，且這兩個表單建立時的數據獲取過程相同，則判斷這兩個表單形成冗余數據。

優選地，在所述冗余數據監測步驟中，先對比這兩個表單的數據結構，若這兩個表單數據結構相似度大于預設值，則再對比這兩個表單建立時的數據獲取過程。

優選地，在所述冗余數據監測步驟中，對比兩個表單的數據結構具體是對比數據的名稱、類型和字段長度。

優選地，所述預設值為90%。

本發明還提供一種表單建立方法，其建立的多個表單不會被誤判斷為形成了冗余數據。

本發明提供的表單建立方法，從數據庫獲取多個數據形成表單，對所獲取的每個數據，以該數據在數據庫的存儲位置作為其來源地址，記錄在表單中。

本發明還提供一種冗余數據檢測方法，其能準確地檢測出兩個表單是否形成冗余數據。

本發明提供的冗余數據檢測方法，判斷兩個表單是否形成冗余數據，對每個表單，從表單中提取出各個數據的來源地址，根據各個數據的來源地址倒推出表單建立時的數據獲取過程；對比這兩個表單建立時的數據獲取過程，若不同則判斷這兩個表單沒有形成冗余數據。