[發明專利]一種數據管理方法、裝置和計算機可讀存儲介質

在審

• 申請號: 201811124135.3
• 申請日: 2018-09-26
• 公開（公告）號: CN109344147A
• 公開（公告）日: 2019-02-15
• 發明（設計）人: 李俊山
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2457
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種數據管理方法，其特征在于，包括：

S101：對接收到的數據按照預設規則進行排序，得到初始數據集；

S102：從所述初始數據集中讀取預設長度的數據隊列；

S103：確定出所述數據隊列中的冗余數據，并將所述冗余數據從所述初始數據集中刪除，以得到目標數據集；

S104：判斷所述目標數據集中是否存在未經去重處理的數據；若是，則執行S105；若否，則結束操作；

S105：依據所述數據隊列的數據重復總次數和數據總條數以及設置的隊列長度上限值和隊列長度下限值，確定出隊列長度；并將所述隊列長度作為預設長度，將所述目標數據集作為初始數據集，返回所述S102。

2.根據權利要求1所述的方法，其特征在于，在所述S105中包括：

計算所述數據隊列中數據重復總次數和所述數據隊列的數據總條數的比值；并根據如下公式，計算出目標隊列長度W_i：

W_i＝Int(W_min+a(W_max-W_min))；

其中，W_min表示隊列長度下限值，W_max表示隊列長度上限值，a表示所述比值；Int表示取整運算。

3.根據權利要求1所述的方法，其特征在于，在所述S101中包括：

對接收到的數據按照時間順序進行排序，得到初始數據集；或者是對接收到的數據按照讀寫器標識號進行排序，得到初始數據集。

4.根據權利要求3所述的方法，其特征在于，當所述S101為對接收到的數據按照時間順序進行排序，得到初始數據集時，相應的，在當所述目標數據集中不存在未經去重處理的數據之后還包括：

對所述目標數據集中的數據按照讀寫器標識號進行排序，得到初始數據集，并進入所述S102。

5.根據權利要求1-4任意一項所述的方法，其特征在于，還包括：

統計從接收到所述數據到得到完成去重處理的目標數據集所花費的時間；

依據所述時間，調整所述隊列長度上限值和所述隊列長度下限值的取值。

6.一種數據管理裝置，其特征在于，包括排序單元、讀取單元、刪除單元、判斷單元、確定單元和結束單元；

所述排序單元，用于對接收到的數據按照預設規則進行排序，得到初始數據集；

所述讀取單元，用于從所述初始數據集中讀取預設長度的數據隊列；

所述刪除單元，用于確定出所述數據隊列中的冗余數據，并將所述冗余數據從所述初始數據集中刪除，以得到目標數據集；

所述判斷單元，用于判斷所述目標數據集中是否存在未經去重處理的數據；若是，則觸發所述確定單元；若否，則觸發所述結束單元；

所述確定單元，用于依據所述數據隊列的數據重復總次數和數據總條數以及設置的隊列長度上限值和隊列長度下限值，確定出隊列長度；并將所述隊列長度作為預設長度，將所述目標數據集作為初始數據集，返回所述讀取單元；

所述結束單元，用于結束操作。

7.根據權利要求6所述的裝置，其特征在于，所述確定單元具體用于計算所述數據隊列中數據重復總次數和所述數據隊列的數據總條數的比值；并根據如下公式，計算出目標隊列長度W_i：

W_i＝Int(W_min+a(W_max-W_min))；

其中，W_min表示隊列長度下限值，W_max表示隊列長度上限值，a表示所述比值；Int表示取整運算。

8.根據權利要求6或7所述的裝置，其特征在于，還包括統計單元和調整單元；

所述統計單元，用于統計從接收到所述數據到得到完成去重處理的目標數據集所花費的時間；

所述調整單元，用于依據所述時間，調整所述隊列長度上限值和所述隊列長度下限值的取值。