[發明專利]一種分布式存儲系統及其異構加速方法

在審

• 申請號: 201811246355.3
• 申請日: 2018-10-24
• 公開（公告）號: CN109491599A
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 彭福來;于治樓;劉毅楓;姚春強
• 申請（專利權）人: 山東超越數控電子股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/10;G06F13/28
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤

本發明公開了一種分布式存儲系統異構加速方法，包括：客戶端將待存儲數據進行分塊并發送到數據節點；數據節點調用FPGA異構加速單元將數據塊輸入到數據壓縮單元；數據壓縮單元將數據塊壓縮并且存儲到存儲盤中。本發明還公開了一種分布式存儲系統。該方法和系統既能滿足系統性能，又能提高存儲空間利用率。

技術領域

本發明涉及計算機數據分布式存儲技術領域，并且更具體地，特別是指一種分布式存儲系統及其異構加速方法。

背景技術

物聯網時代會產生海量的多樣化異構數據，這對存儲系統的存儲容量及性能提出了更高的要求，由于分布式存儲系統具有高擴展性、高可靠性等優點，在業界得到了廣泛應用。

為了提高數據的可靠性，存儲系統通常采用兩種技術：一種是副本策略，存儲多個數據副本，通常需要幾倍于數據容量的存儲空間，存儲空間利用較低；另一種糾刪碼策略，對數據進行冗余編碼，通過數據冗余信息進行數據恢復，存儲空間利用率高，但是需要消耗大量的計算資源，對系統性能要求高。

現有技術中尚未披露一種分布式存儲系統及其異構加速方法，其中每個數據節點至少裝配一個異構加速卡，通過其將數據進行糾刪編碼并發送到數據壓縮單元將數據塊壓縮后存儲到存儲盤中，這樣既能滿足系統性能，又能提高存儲空間利用率。

發明內容

有鑒于此，本發明實施例的目的在于提出一種分布式存儲系統及其異構加速方法，其中每個數據節點至少裝配一個FPGA異構加速單元，通過FPGA異構加速單元將數據進行糾刪編碼并發送到數據壓縮單元將數據塊壓縮后存儲到存儲盤中，這樣既能滿足系統性能，又能提高存儲空間利用率。

基于上述目的，本發明實施例的一方面提供了一種分布式存儲系統異構加速方法，包括：

客戶端將待存儲數據進行分塊并發送到數據節點；

數據節點調用FPGA異構加速單元將數據塊輸入到數據壓縮單元；

數據壓縮單元將數據塊壓縮并且存儲到存儲盤中。

在一些實施方式中，客戶端將待存儲數據進行分塊并發送到數據節點包括：客戶端從元數據節點獲取數據存儲位置信息，通過設定的規則選取某個數據節點為主數據節點并且將數據分塊發送到主數據節點。

在一些實施方式中，數據節點調用FPGA異構加速單元將數據塊輸入到數據壓縮單元包括：

確定是否需要對數據進行糾刪編碼；

如果需要對數據進行糾刪編碼，則數據節點調用FPGA異構加速單元將數據塊進行糾刪編碼，生成冗余數據塊，并且將數據塊輸入到數據壓縮單元；

如果不需要對數據進行糾刪編碼，則數據節點調用FPGA異構加速單元將數據塊直接輸入到數據壓縮單元。

在一些實施方式中，存儲盤被配置為存儲盤陣列。

在一些實施方式中，當進行數據讀取操作時，CPU調用FPGA異構加速單元對數據進行解壓操作、將解壓后的數據糾刪解碼計算并且傳送到客戶端；客戶端將數據塊組合為原始數據。

本發明實施例的另一方面，還提供了一種分布式存儲系統，包括：

客戶端；

與客戶端通過網絡通信的元數據節點集群和數據節點集群；

其中每個數據節點至少配置一個FPGA異構加速單元，該FPGA異構加速單元至少用于對糾刪編解碼、數據壓縮進行加速。

在一些實施方式中，數據節點至少包括CPU、FPGA異構加速單元、存儲盤陣列。

在一些實施方式中，FPGA異構加速單元通過PCIe-DMA方式與CPU進行通信。