[發明專利]數據處理方法、裝置以及存儲引擎裝置

在審

• 申請號: 202110220233.2
• 申請日: 2021-02-26
• 公開（公告）號: CN112925643A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 楊振宇;朱學敏;汪瑫
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/13;G06F16/16;G06F16/17;G06F16/18
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

1.一種數據處理方法，包括：

確定待回收數據塊；

確定所述待回收數據塊的當前空洞率；

至少基于當前讀寫負載確定當前回收空洞率；

確定所述待回收數據塊的當前空洞率是否低于所述當前回收空洞率；以及

響應于所述待回收數據塊的當前空洞率不低于所述當前回收空洞率，對所述待回收數據塊進行回收。

2.如權利要求1所述的數據處理方法，其中，確定待回收數據塊包括：

響應于確定索引層觸發索引壓實操作，確定所述索引壓實操作中淘汰的索引；

將所述索引壓實操作中淘汰的索引對應的數據所在的數據塊確定為所述待回收數據塊。

3.如權利要求2所述的數據處理方法，其中，所述索引層包括基于LSM樹結構的多個索引項，其中每個索引項包括數據鍵和值索引，所述值索引包括與所述數據鍵對應的數據值所在的數據塊的標識以及所述數據在數據塊中的偏移量。

4.如權利要求1所述的數據處理方法，其中，確定所述待回收數據塊的當前空洞率包括：

利用用于所述待回收數據塊的空洞率計數器確定所述待回收數據塊的真實空洞率；

至少基于所述當前讀寫負載對所述真實空洞率進行調整，以得到所述當前空洞率。

5.如權利要求4所述的數據處理方法，其中所述當前讀寫負載越高，所述當前空洞率越低。

6.如權利要求4所述的數據處理方法，其中，至少基于所述當前讀寫負載對所述真實空洞率進行調整，以得到所述當前空洞率包括：

至少基于所述當前讀寫負載以及所述待回收數據塊中存儲的數據的生存時間信息對所述真實空洞率進行調整，以得到所述當前空洞率。

7.如權利要求6所述的數據處理方法，其中所述待回收數據塊中存儲的數據的生存時間信息指示所存儲的數據的生存時間越長，所述當前空洞率越高。

8.如權利要求6所述的數據處理方法，其中，至少基于所述當前讀寫負載以及所述待回收數據塊中存儲的數據的生存時間信息對所述真實空洞率進行調整，以得到所述當前空洞率包括：

基于所述當前讀寫負載、所述待回收數據塊中存儲的數據的生存時間信息以及所述待回收數據塊的存儲層級對所述真實空洞率進行調整，以得到所述當前空洞率。

9.如權利要求8所述的數據處理方法，其中，所述待回收數據塊的存儲層級越高，所述當前空洞率越高。

10.如權利要求9所述的數據處理方法，其中，所述當前空洞率是基于下式確定的：

P_current＝P_actual+(α*level_block+β*TTL_block)*γ，

其中P_current是所述當前空洞率，P_actual是所述真實空洞率，level_block是指示所述存儲層級，TTL_block是所述生存時間信息，α、β是預先確定的系數，γ是基于當前讀寫負載確定的參數。

11.如權利要求10所述的數據處理方法，其中，γ＝1/IO，IO是當前讀寫負載值。

12.如權利要求1-11任一項所述的數據處理方法，其中所述當前讀寫負載越高，所述當前回收空洞率越高。

13.如權利要求12所述的數據處理方法，其中，至少基于當前讀寫負載確定當前回收空洞率包括：

基于所述當前讀寫負載以及當前剩余存儲空間對預先確定的初始回收空洞率進行調整，以得到所述當前回收空洞率。