[發明專利]數據處理方法及其裝置、存儲介質、計算機程序產品

在審

• 申請號: 202210395783.2
• 申請日: 2022-04-15
• 公開（公告）號: CN114676000A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 肖蓉;陳正華;屠要峰;韓銀俊
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F11/10;G06F3/06;G06F16/23;G06F16/27
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 黃廣龍

本發明提供了一種數據處理方法、裝置、計算機存儲介質及計算機程序產品，數據處理方法包括：接收數據節點發送的第一數據，所述第一數據為待寫入到所述數據節點的數據；在接收完成所述第一數據之后，根據所述第一數據得到與所述第一數據對應的備份數據，其中，所述備份數據為等待被更新的數據；根據所述第一數據和所述備份數據得到目標數據，其中，所述目標數據用于計算冗余數據。根據本發明實施例的方案，能夠使糾刪碼EC條帶在數據更新的情況下具有可恢復性，提高了數據存儲系統的性能、效率和可靠性。

技術領域

本發明涉及存儲技術領域，特別涉及一種數據處理方法及其裝置、存儲介質、計算機程序產品。

背景技術

在分布式存儲系統中，為了保證數據的安全性，可以采用數據冗余模式來存儲數據。目前常用的數據冗余模式包括副本冗余模式和糾刪碼(Erasure Coding，EC)冗余模式。副本冗余模式是指簡單的將數據復制多份存儲在不同的節點上。EC冗余模式是指將原始數據分成N個原始數據塊，根據EC算法和N個原始數據塊，生成M個校驗塊，形成一個由N+M個數據塊構成的EC條帶，并將這N+M個數據塊分別存儲到集群中的N+M個存儲節點上。當丟失的數據塊的數量小于或等于M時，可以通過EC條帶中剩余的數據塊，基于EC算法恢復出丟失的數據塊。相比于副本模式，EC模式在實現相同冗余比的條件下，具有更好的存儲效率。

但是，對于EC冗余模式，當對EC條帶中的任一數據塊進行更新時，該數據塊和該EC條帶內的全部校驗塊都應同步更新以保持數據一致性。因此如果在數據更新的過程中，因網絡或節點故障等原因，破壞了數據的一致性，將會降低EC條帶的可恢復性。例如，以M＝2為例，如果在將某一數據塊D1更新成D1’的過程中，第一校驗節點上的校驗塊根據D1’進行了更新，而第二校驗節點丟失了數據塊D1’，那么此時D1’的冗余度下降，若D1’所在的數據節點和第一校驗節點同時故障，將無法通過EC算法恢復丟失的數據塊D1’。這樣的問題在高并發更新的分布式系統中越發凸顯。常用的數據處理方法主要分為兩類：第一，由主節點加鎖或者每個節點分別加鎖的方式將并發更新轉化成順序更新，這種方式將降低數據更新的性能；第二，通過增加日志或者緩存等方法將更新數據備份，這種方法雖然保證了數據的可恢復性以及更新的性能，但讀取數據的時候需要將原始數據與日志或者緩存中的更新數據進行合并，降低了數據的讀性能。所以，如何在高并發更新的分布式EC系統中，有效地平衡讀寫性能和可恢復性，是一個亟待解決的問題。

發明內容

以下是對本文詳細描述的主題的概述。本概述并非是為了限制權利要求的保護范圍。

本發明實施例提供了一種數據處理方法及其裝置、存儲介質、計算機程序產品，能夠有效地提高EC條帶在數據并發更新的情況下的一致性和可恢復性。

第一方面，本發明實施例提供了一種數據處理方法，包括：接收數據節點發送的第一數據，所述第一數據為待寫入到所述數據節點的數據；在接收完成所述第一數據之后，根據所述第一數據得到與所述第一數據對應的備份數據，其中，所述備份數據為等待被更新的數據；根據所述第一數據和所述備份數據得到目標數據，其中，所述目標數據用于計算冗余數據。

第二方面，本發明實施例還提供了一種數據處理裝置，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如上的數據處理方法。

第三方面，本發明實施例還提供了一種計算機可讀存儲介質，存儲有計算機可執行指令，所述計算機可執行指令用于執行如上的數據處理方法。

第四方面，本發明實施例還提供了一種計算機程序產品，包括計算機程序或計算機指令，其特征在于，所述計算機程序或所述計算機指令存儲在計算機可讀存儲介質中，計算機設備的處理器從所述計算機可讀存儲介質讀取所述計算機程序或所述計算機指令，所述處理器執行所述計算機程序或所述計算機指令，使得所述計算機設備執行如上所述的數據處理方法。