[發(fā)明專利]一種數(shù)據(jù)處理方法及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202210474196.2
• 申請日: 2022-04-29
• 公開（公告）號: CN114895848A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計）人: 溫利娟;豆森
• 申請（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/182
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 韓園園;張穎玲

1.一種數(shù)據(jù)處理方法，所述方法包括，

根據(jù)分布式存儲系統(tǒng)中每個數(shù)據(jù)文件的數(shù)據(jù)分布信息，確定每個數(shù)據(jù)文件中每個數(shù)據(jù)區(qū)塊的無效數(shù)據(jù)量；

根據(jù)每個數(shù)據(jù)區(qū)塊的所述無效數(shù)據(jù)量，將每個數(shù)據(jù)文件的數(shù)據(jù)區(qū)塊分為第一類數(shù)據(jù)區(qū)塊和第二類數(shù)據(jù)區(qū)塊；其中，所述第一類數(shù)據(jù)區(qū)塊表征滿足清除條件的無效數(shù)據(jù)；

采用不同的回收策略分別對所述第一類數(shù)據(jù)區(qū)塊和所述第二類數(shù)據(jù)區(qū)塊中的無效數(shù)據(jù)進行回收，以使得所述分布式存儲系統(tǒng)只對所述第一類數(shù)據(jù)區(qū)塊的有效數(shù)據(jù)重新分配存儲空間。

2.根據(jù)權(quán)利要求1所述的方法，所述根據(jù)每個數(shù)據(jù)區(qū)塊的所述無效數(shù)據(jù)量，將每個數(shù)據(jù)文件的數(shù)據(jù)區(qū)塊分為第一類數(shù)據(jù)區(qū)塊和第二類數(shù)據(jù)區(qū)塊，包括：

將每個數(shù)據(jù)區(qū)塊的所述無效數(shù)據(jù)量分別與無效數(shù)據(jù)閾值進行比較；

根據(jù)比較結(jié)果，將無效數(shù)據(jù)量大于或等于所述無效數(shù)據(jù)閾值的第一目標數(shù)據(jù)區(qū)塊確定為所述第一類數(shù)據(jù)區(qū)塊；將無效數(shù)據(jù)量小于所述無效數(shù)據(jù)閾值的第二目標數(shù)據(jù)區(qū)塊確定為所述第二類數(shù)據(jù)區(qū)塊。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于回收策略分別對所述第一類數(shù)據(jù)區(qū)塊和所述第二類數(shù)據(jù)區(qū)塊中的無效數(shù)據(jù)進行回收處理，包括：

提取所述第一類數(shù)據(jù)區(qū)塊中的有效數(shù)據(jù)；

將所述有效數(shù)據(jù)存儲到新創(chuàng)建的第一目標數(shù)據(jù)文件中，以釋放所述第一類數(shù)據(jù)區(qū)塊在對應(yīng)的數(shù)據(jù)文件中的存儲空間。

4.根據(jù)權(quán)利要求3所述的方法，在所述將所述有效數(shù)據(jù)存儲到新創(chuàng)建的第一目標數(shù)據(jù)文件中之前，所述方法還包括：

向所述分布式存儲系統(tǒng)對應(yīng)的服務(wù)器集群中的存儲裝置發(fā)送空間請求，所述空間請求中攜帶有區(qū)塊數(shù)量；

接收所述存儲裝置基于所述空間請求為所述區(qū)塊數(shù)量分配的目標空間；

基于所述目標空間和所述區(qū)塊數(shù)量生成所述第一目標數(shù)據(jù)文件。

5.根據(jù)權(quán)利要求3所述的方法，所述方法還包括：

更新所述第一類數(shù)據(jù)區(qū)塊在所述分布式存儲系統(tǒng)中的索引地址，使得所述索引地址指向所述第一目標數(shù)據(jù)文件。

6.根據(jù)權(quán)利要求3所述的方法，所述方法還包括：

所述第一目標數(shù)據(jù)文件中數(shù)據(jù)區(qū)塊和校驗區(qū)塊的區(qū)塊總數(shù)量大于所述第一類數(shù)據(jù)區(qū)塊對應(yīng)的各數(shù)據(jù)文件中的區(qū)塊總數(shù)量。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述采用不同的回收策略分別對所述第一類數(shù)據(jù)區(qū)塊和所述第二類數(shù)據(jù)區(qū)塊中的無效數(shù)據(jù)進行回收，包括：

將每個數(shù)據(jù)文件中的所述第二類數(shù)據(jù)區(qū)塊進行組合，形成第二目標數(shù)據(jù)文件；其中，所述第二目標數(shù)據(jù)文件中每個所述第二類數(shù)據(jù)區(qū)塊中的有效數(shù)據(jù)和無效數(shù)據(jù)保持不變。

8.根據(jù)權(quán)利要求7所述的方法，所述方法還包括：

所述第二目標數(shù)據(jù)文件中數(shù)據(jù)區(qū)塊和校驗區(qū)塊的區(qū)塊總數(shù)量大于所述第二類數(shù)據(jù)區(qū)塊對應(yīng)的各數(shù)據(jù)文件中的區(qū)塊總數(shù)量。

9.一種電子設(shè)備，所述電子設(shè)備包括，

確定單元，用于根據(jù)分布式存儲系統(tǒng)中每個數(shù)據(jù)文件的數(shù)據(jù)分布信息，確定每個數(shù)據(jù)文件中每個數(shù)據(jù)區(qū)塊的無效數(shù)據(jù)量；

分類單元，用于根據(jù)每個數(shù)據(jù)區(qū)塊的所述無效數(shù)據(jù)量，將每個數(shù)據(jù)文件的數(shù)據(jù)區(qū)塊分為第一類數(shù)據(jù)區(qū)塊和第二類數(shù)據(jù)區(qū)塊；其中，所述第一類數(shù)據(jù)區(qū)塊表征滿足清除條件的無效數(shù)據(jù)；

回收單元，用于采用不同的回收策略分別對所述第一類數(shù)據(jù)區(qū)塊和所述第二類數(shù)據(jù)區(qū)塊中的無效數(shù)據(jù)進行回收，以使得所述分布式存儲系統(tǒng)只對所述第一類數(shù)據(jù)區(qū)塊的有效數(shù)據(jù)重新分配存儲空間。

10.一種電子設(shè)備，所述電子設(shè)備包括處理器和用于存儲能夠在處理器上運行的計算機程序的存儲器，

其中，所述處理器用于運行所述計算機程序時，執(zhí)行權(quán)利要求1至8中任一項方法步驟。