[發明專利]數據處理方法、裝置以及存儲引擎裝置

在審

• 申請號: 202110220233.2
• 申請日: 2021-02-26
• 公開（公告）號: CN112925643A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 楊振宇;朱學敏;汪瑫
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/13;G06F16/16;G06F16/17;G06F16/18
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

本公開提供了一種數據處理方法、裝置以及存儲引擎裝置、電子設備、存儲介質以及計算機程序產品。本公開涉及數據庫、數據存儲領域。本公開提供的數據處理方法包括：確定待回收數據塊；確定待回收數據塊的當前空洞率；至少基于當前讀寫負載確定當前回收空洞率；確定所回收數據塊的當前空洞率是否低于當前回收空洞率；以及響應于待回收數據塊的當前空洞率不低于當前回收空洞率，對待回收數據塊進行回收。利用本公開提供的方法，可以基于當前讀寫負載適應性地對數據塊的回收空洞率進行調整，使得能夠實現動態的數據回收策略。

技術領域

本公開涉及數據庫、數據存儲領域，具體涉及一種數據處理方法、裝置以及存儲引擎裝置、電子設備、存儲介質以及計算機程序產品。

背景技術

為了充分利用存儲介質的順序寫性能，可以通過追加寫的方式實現數據存儲，從而提高存儲引擎的寫性能。在寫入過程中，可以采用壓實(Compaction)機制對存儲介質中的無效數據進行回收。

發明內容

本公開提供了一種數據處理方法、裝置以及存儲引擎裝置、電子設備、存儲介質以及計算機程序產品。

根據本公開的一方面，提供了一種數據處理方法，包括：確定待回收數據塊；確定所述待回收數據塊的當前空洞率；至少基于當前讀寫負載確定當前回收空洞率；確定所述待回收數據塊的當前空洞率是否低于所述當前回收空洞率；以及響應于所述待回收數據塊的當前空洞率不低于所述當前回收空洞率，對所述待回收數據塊進行回收。

根據本公開的另一方面，提供了一種數據處理裝置，包括：待回收數據塊確定單元，配置成確定待回收數據塊；空洞率確定單元，配置成確定所述待回收數據塊的當前空洞率；回收空洞率確定單元，配置成至少基于當前讀寫負載確定當前回收空洞率；比較單元，配置成確定所述待回收數據塊的當前空洞率是否低于所述當前回收空洞率；以及回收單元，配置成響應于所述待回收數據塊的當前空洞率不低于所述當前回收空洞率，對所述待回收數據塊進行回收。

根據本公開的另一方面，提供了一種存儲引擎裝置，包括：索引層，配置成存儲包括數據鍵和值索引的索引項，所述值索引包括與所述數據鍵對應的數據值所在的數據塊的標識以及所述數據值在數據塊中的偏移量；數據層，配置成存儲多個數據塊；控制單元，配置成：從所述數據層中確定待回收數據塊；利用所述待回收數據塊對應的空洞率計數器確定所述待回收數據塊的當前空洞率；至少基于由流量計數器得到的當前讀寫負載確定當前回收空洞率；以及響應于所述待回收數據塊的當前空洞率不低于所述當前回收空洞率，對所述待回收數據塊進行回收。

根據本公開的另一方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如前所述的方法。

根據本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行如前所述的方法。

根據本公開的另一方面，提供了一種計算機程序產品，包括計算機程序，其中，所述計算機程序在被處理器執行時實現如前所述的方法。

根據本公開的一個或多個實施例，通過基于當前讀寫負載調整用于待回收數據塊的當前回收空洞率，可以實現動態的數據回收策略。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖示例性地示出了實施例并且構成說明書的一部分，與說明書的文字描述一起用于講解實施例的示例性實施方式。所示出的實施例僅出于例示的目的，并不限制權利要求的范圍。在所有附圖中，相同的附圖標記指代類似但不一定相同的要素。

圖1示出了根據本公開的實施例的數據處理方法100的示意性的流程圖；