[發明專利]一種RS糾刪處理設備及分布式存儲系統

有效

• 申請號: 202011111568.2
• 申請日: 2020-10-16
• 公開（公告）號: CN112286449B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 王明明;張磊;吳睿振;王凜
• 申請（專利權）人: 山東云海國創云計算裝備產業創新中心有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/10
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉志紅

本發明公開了一種RS糾刪處理設備及分布式存儲系統，該設備包括：控制部件，用于獲取RS糾刪任務，并根據RS糾刪任務，控制處理部件并行計算輸入數據塊與輸入矩陣的矩陣乘結果和矩陣乘結果的數據重組，得到RS糾刪任務對應的輸出數據塊；處理部件，用于根據控制部件的控制，利用第一數量的處理單元并行計算輸入數據塊與輸入矩陣的矩陣乘結果，并對矩陣乘結果進行數據重組，得到輸出數據塊；其中，第一數量大于或等于2；本發明利用采用硬件并行結構的RS糾刪處理設備處理RS糾刪的編碼和解碼，能夠減少CPU計算資源的占用；并且通過RS糾刪處理設備中處理單元的并行計算，能夠極大地提高數據的吞吐率，從而提升RS糾刪的性能。

技術領域

本發明涉及數據處理技術領域，特別涉及一種RS糾刪處理設備及分布式存儲系統。

背景技術

面對海量數據的存儲要求，分布式存儲以其成本低廉，可擴展性好等優勢逐漸取代了統一存儲的主導地位，在理論研究和實際應用方面得到了越來越多的關注。分布式存儲系統多以廉價的磁盤作為存儲節點，每個存儲節點的可靠性往往不會很高，另一方面，一個分布式存儲系統通常包含很多的節點，由于軟硬件故障，人為失誤等原因，系統常常發生節點失效的情況。為了提高分布式存儲系統的數據可靠性，保證數據收集節點能以很高的概率實現原始文件的重構，需要在存儲原始數據的基礎上，額外存儲一定數量的冗余，使得在出現部分節點失效的情況下，系統仍然可以正常運行，數據收集節點仍然可以對原始文件實現解碼恢復。同時，為了維持系統的可靠性，需要對失效的節點及時進行修復，因此，設計一個良好的節點修復機制十分重要。

糾刪碼(Erasure?Code)屬于編碼理論中的一種前向糾錯技術，最早應用于通信領域以解決數據傳輸中的丟失與損耗這類問題。由于糾刪碼技術在防止數據丟失取得了較好的效果，因此被引入存儲領域。糾刪碼的種類眾多，在實際存儲系統中較常見的有應用在分布式環境下的RS碼(Reed-Solomon?Code，里德所羅門碼)。

現有技術中，對基于RS(Reed-Solomon)糾刪碼的編碼和解碼，大都使用如Jerasure2.0(一個基于C的支持存儲應用中糾刪碼的類庫)的開源軟件的解決方案，即在CPU上運行RS相關的軟件做糾刪的編碼和解碼，占用了較多的CPU的計算資源，并且RS糾刪過程中的數據的吞吐率不高，影響RS糾刪的性能。因此，如何能夠減少RS糾刪的編碼和解碼對CPU計算資源的占用，提高數據的吞吐率，從而提升RS糾刪的性能，是現今急需解決的問題。

發明內容

本發明的目的是提供一種RS糾刪處理設備及分布式存儲系統，以利減少RS糾刪的編碼和解碼對CPU計算資源的占用，提高數據的吞吐率，從而提升RS糾刪的性能。

為解決上述技術問題，本發明提供一種RS糾刪處理設備，包括：

控制部件，用于獲取RS糾刪任務，并根據所述RS糾刪任務，控制處理部件并行計算輸入數據塊與輸入矩陣的矩陣乘結果和所述矩陣乘結果的數據重組，得到所述RS糾刪任務對應的輸出數據塊；其中，所述輸入矩陣為所述RS糾刪任務對應的解碼矩陣或編碼矩陣；

所述處理部件，用于根據所述控制部件的控制，利用第一數量的處理單元并行計算輸入數據塊與輸入矩陣的矩陣乘結果，并對所述矩陣乘結果進行數據重組，得到所述輸出數據塊；其中，所述第一數量大于或等于2。

可選的，所述處理部件，包括：

第二數量的輸入數據緩沖隊列，用于緩存所述輸入數據塊；其中，所述第二數量大于或等于所述輸入數據塊的數量，每個所述輸入數據塊緩存到各自對應一個輸入數據緩沖隊列中；

數據分發單元，用于根據所述控制部件的控制，將所述輸入數據塊的數據平均的分發到所述處理單元；

所述處理單元，用于計算各自輸入的數據與所述輸入矩陣的所述矩陣乘結果；