[發明專利]一種進行數據重構的方法和裝置

有效

• 申請號: 201710471061.X
• 申請日: 2017-06-20
• 公開（公告）號: CN109101187B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 吳波;夏偉強;王偉;林起芊
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 江崇玉

本公開是關于一種進行數據重構的方法和裝置，屬于數據存儲技術領域。所述方法包括：確定待重構的至少一個數據塊；根據所述至少一個數據塊當前的屬性，確定所述至少一個數據塊的優先級；根據所述至少一個數據塊的優先級，以及所述至少一個數據塊中的每個數據塊所屬的條帶，確定待重構的至少一個條帶以及所述至少一個條帶中的每個條帶的優先級；按照確定出的待重構的至少一個條帶的優先級，對所述至少一個條帶包含的待重構的數據塊進行數據重構。采用本公開，可以提高讀取數據的效率。

技術領域

本公開是關于數據存儲技術領域，尤其是關于一種進行數據重構的方法和裝置。

背景技術

在數據存儲領域，人們越來越看重數據的安全性和可靠性。為增強數據的安全性和可靠性，往往采用糾刪碼技術對待存儲的對象數據進行存儲。

具體的，在存儲對象數據時，服務器可以將對象數據劃分為多個條帶，其中，每個條帶包含N個源數據塊和M個校驗數據塊，(其中，校驗數據塊是根據特定的編碼算法，對N個源數據塊進行計算得到的)，進而，將每個條帶中的每個數據塊分別存儲在不同的存儲節點上。另外，當某條帶中的某幾個數據塊損壞時，可以根據該條帶中其他的數據塊計算出損壞的數據塊，即可以通過條帶中未損壞的數據塊重構出損壞的數據塊。

目前，服務器進行數據重構的處理一般是：服務器可以不斷對各個存儲節點進行檢測，如果檢測到存儲數據塊的磁盤或者磁盤的某個磁道損壞，則可以將損壞的磁盤或者磁道上存儲的數據塊的標識添加到待重構列表中。然后，可以按照發現時間由早至晚的順序或者按照數據塊所在條帶的標識的字典序排列后，對待重構列表中的數據塊進行數據重構。

在實現本公開的過程中，發明人發現至少存在以下問題：

當服務器接收到數據查詢請求，讀取某數據塊時，如果該數據塊是損壞的數據塊，且對應的發現時間較晚或者所在條帶的標識的字典序比較靠后，則服務器基于上述數據重構方式，在對損壞的數據塊進行數據重構時，需要將排列在該數據塊之前的數據塊進行數據重構后，再對該數據塊進行數據重構，服務器方可正確讀取到重構后的該數據塊，即服務器需要將排列在該數據塊之前的所有損壞數據塊進行數據重構后，才能正確讀取到重構后的該數據塊，從而，導致讀取數據的效率較低。

發明內容

為了克服相關技術中存在的讀取數據的效率較低的問題，本公開提供了一種進行數據重構的方法和裝置。所述技術方案如下：

根據本公開實施例的第一方面，提供一種進行數據重構的方法，所述方法包括：

確定待重構的至少一個數據塊；

根據所述至少一個數據塊當前的屬性，確定所述至少一個數據塊的優先級；

根據所述至少一個數據塊的優先級，以及所述至少一個數據塊中的每個數據塊所屬的條帶，確定待重構的至少一個條帶以及所述至少一個條帶中的每個條帶的優先級；

按照確定出的待重構的至少一個條帶的優先級，對所述至少一個條帶包含的待重構的數據塊進行數據重構。

可選的，所述至少一個數據塊的屬性包括：

是否具有即時讀取屬性、是否被鎖定屬性、數據塊所屬桶bucket的重要程度屬性、存儲時長屬性。

可選的，所述確定待重構的至少一個數據塊，包括：

當接收到存儲節點發送的磁盤變更通知時，確定待重構的至少一個數據塊；或者，

當接收到對目標文件的即時讀取指令時，確定待重構的至少一個數據塊。

可選的，所述按照確定出的待重構的至少一個條帶的優先級，對所述至少一個條帶包含的待重構的數據塊進行數據重構之前，還包括：