[發明專利]數據處理方法、裝置及設備

在審

• 申請號: 202110336708.4
• 申請日: 2021-03-29
• 公開（公告）號: CN113296698A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 黃李龍
• 申請（專利權）人: 阿里巴巴新加坡控股有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 劉戈;孫明子

1.一種數據處理方法，包括：

獲取內存中緩存數據的數據量大小；

根據所述數據量大小，確定用于對所述緩存數據進行轉儲操作的轉儲方式，所述轉儲方式包括以下任意之一：在線糾刪碼技術相對應的第一轉儲方式、與非在線糾刪碼技術相對應的第二轉儲方式；

基于所述轉儲方式對所述緩存數據進行轉儲操作。

2.根據權利要求1所述的方法，根據所述數據量大小，確定用于對所述緩存數據進行轉儲操作的轉儲方式，包括：

在所述數據量大小大于預設閾值時，則確定所述轉儲方式為與在線糾刪碼技術相對應的第一轉儲方式；

在所述數據量大小小于或等于預設閾值時，則確定所述轉儲方式為與非在線糾刪碼技術相對應的第二轉儲方式。

3.根據權利要求2所述的方法，與非在線糾刪碼技術相對應的第二轉儲方式包括以下至少之一：

與在線多副本技術相對應的第一子轉儲方式；

用于標識將所述緩存數據保持存儲在內存中的空轉儲方式；

與離線糾刪碼技術相對應的第二子轉儲方式。

4.根據權利要求3所述的方法，確定所述轉儲方式為與非在線糾刪碼技術相對應的第二轉儲方式，包括：

獲取與上一次轉儲操作之間的時間間隔；

在所述時間間隔大于或等于預設時間閾值時，則確定所述第二轉儲方式為所述第一子轉儲方式、空轉儲方式和第二子轉儲方式中的任意之一；

在所述時間間隔小于預設時間閾值時，則確定所述第二轉儲方式為所述空轉儲方式。

5.根據權利要求4所述的方法，在確定所述第二轉儲方式為所述第一子轉儲方式之后；基于所述轉儲方式對所述緩存數據進行轉儲操作，包括：

基于所述第一子轉儲方式對所述緩存數據進行轉儲操作，獲得與所述緩存數據相對應的多副本文件；

利用離線糾刪碼技術對所述多副本文件中的數據進行轉儲操作，獲得與所述多副本文件相對應的離線糾刪碼文件。

6.根據權利要求3所述的方法，在確定所述第二轉儲方式為所述第二子轉儲方式之后；基于所述轉儲方式對所述緩存數據進行轉儲操作，包括：

基于所述第二子轉儲方式對所述緩存數據進行轉儲操作，獲得與所述緩存數據相對應的第一糾刪碼文件；

確定與所述第一糾刪碼文件所對應的有效數據；

利用離線糾刪碼技術對所述有效數據進行轉儲操作，獲得第二糾刪碼文件。

7.根據權利要求2所述的方法，在確定所述轉儲方式為所述第一轉儲方式之后；基于所述轉儲方式對所述緩存數據進行轉儲操作，包括：

獲取與所述第一轉儲方式相對應的數據轉儲條件；

檢測所述緩存數據是否滿足數據轉儲條件；

在所述緩存數據滿足所述數據轉儲條件時，則對所述緩存數據進行轉儲操作；

在所述緩存數據不滿足所述數據轉儲條件時，則對所述緩存數據進行調整，并對調整后的緩存數據進行轉儲操作。

8.根據權利要求7所述的方法，檢測所述緩存數據是否滿足數據轉儲條件，包括：

獲取所述緩存數據的第一數據長度以及與所述第一轉儲方式所對應的數據對齊長度；

基于所述數據對齊長度和所述第一數據長度，檢測所述緩存數據是否滿足數據轉儲條件。

9.根據權利要求8所述的方法，基于所述數據對齊長度和所述第一數據長度，檢測所述緩存數據是否滿足數據轉儲條件，包括：

在所述第一數據長度為所述數據對齊長度的整數倍時，確定所述緩存數據滿足所述數據轉儲條件；或者，

在所述第一數據長度為所述數據對齊長度的非整數倍時，確定所述緩存數據不滿足所述數據轉儲條件。