[發明專利]一種數據管理方法、裝置和計算機可讀存儲介質

在審

• 申請號: 201811124135.3
• 申請日: 2018-09-26
• 公開（公告）號: CN109344147A
• 公開（公告）日: 2019-02-15
• 發明（設計）人: 李俊山
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2457
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明實施例公開了一種數據管理方法、裝置和計算機可讀存儲介質，對接收到的數據按照預設規則進行排序，得到初始數據集；從初始數據集中讀取預設長度的數據隊列；將確定出的數據隊列中的冗余數據從初始數據集中刪除，以得到目標數據集；判斷目標數據集中是否存在未經去重處理的數據；若是，則依據數據隊列的數據重復總次數和數據總條數以及設置的隊列長度上限值和隊列長度下限值，確定出隊列長度；將該隊列長度作為預設長度，將目標數據集作為初始數據集，重新執行從初始數據集中讀取預設長度的數據隊列的步驟，直至目標數據集中不存在未經去重處理的數據，則結束操作。通過動態調整預設長度的具體取值，可以達到更好的去重效果。

技術領域

本發明涉及冗余處理技術領域，特別是涉及一種數據管理方法、裝置和計算機可讀存儲介質。

背景技術

射頻識別(Radio Frequency Identification，RFID)數據分析優化的功能就是對讀取到的標簽數據進行過濾和整合，把處理后的有用數據提交給需要的應用程序。

RFID以電子標簽來標志某個物體，電子標簽的天線通過無線電波將物體的數據發射到附近的RFID讀寫器。RFID讀寫器按照毫秒級的閱讀周期對標簽進行讀取，這就意味著標簽在很短的時間內被同一個閱讀器多次讀取到，產生冗余數據。并且一個模塊化數據中心(Module Data Center，MDC)根據機柜的規模與服務器的數據不同，一般需要4～8個RFID讀寫器，每一個閱讀器可以伸出4根超高頻天線UHF，每臺服務器等IT設備貼有一個電子標簽。當一個標簽在兩個或者多個閱讀器的射頻范圍內，從而被幾個閱讀器同時讀取到，也會造成冗余數據。

傳統方式中，最為常用的方法是采用固定隊列法消除數據冗余。在排序后的數據集上移動一個固定大小的隊列，假設，隊列大小為w條數據，每移動一次隊列，則比較隊列最新加入的數據是否與隊列內先前的數據重復。但是該算法中所依據的隊列長度往往由專家憑行業經驗確定，但固定的隊列長度很難在整個去重過程中都適用，導致去重效果不理想。

可見，如何提升數據去重效率，是本領域技術人員亟待解決的問題。

發明內容

本發明實施例的目的是提供一種數據管理方法、裝置和計算機可讀存儲介質，可以提升數據去重效率。

為解決上述技術問題，本發明實施例提供一種數據管理方法，包括：

S101：對接收到的數據按照預設規則進行排序，得到初始數據集；

S102：從所述初始數據集中讀取預設長度的數據隊列；

S103：確定出所述數據隊列中的冗余數據，并將所述冗余數據從所述初始數據集中刪除，以得到目標數據集；

S104：判斷所述目標數據集中是否存在未經去重處理的數據；若是，則執行S105；若否，則結束操作；

S105：依據所述數據隊列的數據重復總次數和數據總條數以及設置的隊列長度上限值和隊列長度下限值，確定出隊列長度；并將所述隊列長度作為預設長度，將所述目標數據集作為初始數據集，返回所述S102。

可選的，在所述S105中包括：

計算所述數據隊列中數據重復總次數和所述數據隊列的數據總條數的比值；并根據如下公式，計算出目標隊列長度W_i：

W_i＝Int(W_min+a(W_max-W_min))；

其中，W_min表示隊列長度下限值，W_max表示隊列長度上限值，a表示所述比值；Int表示取整運算。

可選的，在所述S101中包括：