[發(fā)明專利]數(shù)據(jù)管理方法、裝置、系統(tǒng)、電子設(shè)備及計算機可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810283415.2
• 申請日: 2018-04-02
• 公開（公告）號: CN110362590A
• 公開（公告）日: 2019-10-22
• 發(fā)明（設(shè)計）人: 黃日成
• 申請（專利權(quán)）人: 騰訊科技(深圳)有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/23
• 代理公司: 深圳市隆天聯(lián)鼎知識產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

1.一種數(shù)據(jù)管理方法，其特征在于，包括：

通過第一過濾器接收用戶的數(shù)據(jù)刪除請求，所述數(shù)據(jù)刪除請求中包含字符串；

通過指定內(nèi)存與日志處理所述數(shù)據(jù)刪除請求；以及

在所述數(shù)據(jù)刪除請求次數(shù)大于閾值時，通過第二過濾器重新構(gòu)建所述指定內(nèi)存；

其中，所述第一過濾器與所述第二過濾器均為布隆過濾器。

2.如權(quán)利要求1所述的方法，其特征在于，還包括：

通過所述第一過濾器接收用戶的數(shù)據(jù)查詢請求，所述數(shù)據(jù)查詢請求中包含字符串；以及

通過所述指定內(nèi)存處理所述數(shù)據(jù)查詢請求并返回處理結(jié)果。

3.如權(quán)利要求1所述的方法，其特征在于，還包括：

通過虛擬內(nèi)存映射構(gòu)建所述指定內(nèi)存。

4.如權(quán)利要求3所述的方法，其特征在于，通過虛擬內(nèi)存映射構(gòu)建所述指定內(nèi)存包括：

通過候選字符串數(shù)量與錯誤概率確定所述指定內(nèi)存的存儲空間。

5.如權(quán)利要求1所述的方法，其特征在于，通過指定內(nèi)存與日志處理所述數(shù)據(jù)刪除請求包括：

確定所述字符串在所述指定內(nèi)存中對應(yīng)的標識位組；

當所述標識位組中的每一個標識均為第一數(shù)值時，在所述日志中將所述標識位組記錄為刪除，所述日志包括二進制日志。

6.如權(quán)利要求1所述的方法，其特征在于，通過第二過濾器重新構(gòu)建所述指定內(nèi)存包括：

通過所述日志記錄所述第一過濾器的操作處理；以及

通過所述日志進行所述第一過濾器與所述第二過濾器之間的數(shù)據(jù)同步以重新構(gòu)建所述指定內(nèi)存。

7.如權(quán)利要求6所述的方法，其特征在于，通過所述日志進行所述第一過濾器與所述第二過濾器之間的數(shù)據(jù)同步以重新構(gòu)建所述指定內(nèi)存包括：

通過所述日志確定所述指定內(nèi)存中記錄為刪除的所述標識位組；以及

在所述第二過濾器與所述第一過濾器進行數(shù)據(jù)同步時，僅同步未刪除的所述標識位組。

8.如權(quán)利要求2所述的方法，其特征在于，通過所述指定內(nèi)存處理所述數(shù)據(jù)查詢請求并返回處理結(jié)果包括：

通過所述指定內(nèi)存中的標志位組處理所述數(shù)據(jù)查詢請求。

9.如權(quán)利要求8所述的方法，其特征在于，通過所述指定內(nèi)存中的標志位組處理所述數(shù)據(jù)查詢請求包括：

確定所述字符串在所述指定內(nèi)存中對應(yīng)的標識位組；

當所述標識位組中的每一個標識均為第一數(shù)值時，返回結(jié)果為所述字符串已存在。

10.如權(quán)利要求9所述的方法，其特征在于，還包括：

當所述標識位組中的每一個標識不都為第一數(shù)值時，將所述標識位組中的每一個標識均設(shè)定為所述第一數(shù)值；以及

返回結(jié)果為所述字符串不存在。

11.一種數(shù)據(jù)管理裝置，其特征在于，包括：

數(shù)據(jù)刪除模塊，用于通過第一過濾器接收用戶的數(shù)據(jù)刪除請求，所述數(shù)據(jù)刪除請求中包含字符串；

內(nèi)存處理模塊，用于通過指定內(nèi)存與日志處理所述數(shù)據(jù)刪除請求；

數(shù)據(jù)重建模塊，用于在所述數(shù)據(jù)刪除請求次數(shù)大于閾值時，通過第二過濾器重新構(gòu)建所述指定內(nèi)存；以及

其中，所述第一過濾器與所述第二過濾器均為布隆過濾器。

12.一種數(shù)據(jù)管理系統(tǒng)，其特征在于，所述系統(tǒng)為分布式系統(tǒng)，所述系統(tǒng)包括：多個處理節(jié)點，每個處理節(jié)點均包括第一過濾器、第二過濾器與指定內(nèi)存；其中，所述第一過濾器用于接收用戶的數(shù)據(jù)查詢請求，所述數(shù)據(jù)查詢請求中包含字符串；所述指定內(nèi)存用于處理所述數(shù)據(jù)刪除請求，所述第二過濾器用于在所述數(shù)據(jù)刪除請求次數(shù)大于閾值時，重新構(gòu)建所述指定內(nèi)存，其中，所述第一過濾器與所述第二過濾器均為布隆過濾器。