[發明專利]一種基于異構計算的分布式存儲加速方法及裝置

在審

• 申請號: 201910069303.1
• 申請日: 2019-01-24
• 公開（公告）號: CN109783032A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 趙瑞東;徐永強;劉毅楓;王則陸
• 申請（專利權）人: 山東超越數控電子股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤

本發明公開了一種基于異構計算的分布式存儲加速方法，包括：S1、配置分布式存儲軟件和FPGA加速單元的運行環境；S2、主機接收客戶端發送的存儲任務，通過分布式存儲軟件對所述存儲任務根據計算量進行優先級排序，并將大于預定計算量的任務發送到FPGA加速單元進行計算；以及S3、FPGA加速單元對任務進行計算后，將結果返回主機，以供主機按照返回的結果對數據進行讀寫操作。本發明還公開了一種基于異構計算的分布式存儲加速裝置。本發明提出的基于異構計算的分布式存儲加速方法和裝置能夠有效地提高存儲速度。

技術領域

本發明涉及存儲領域，更具體地，特別是指一種基于異構計算的分布式存儲加速方法及裝置。

背景技術

數據存儲需求在過去的幾年中爆發性增長。研究表明，數據每年以40％到60％的速度增長，許多公司的數據規模每年會增加一倍。IDC分析師估計，2000年全球共有數字數據54.4艾字節(Exabyte)；到2007年，達到295艾字節；到2020年，有望達到44澤字節(Zettabyte)。傳統的存儲系統無法應對這種數據增速，我們需要像Ceph這樣可擴展的分布式存儲系統，而且最重要的是它更加經濟實惠。

分布存儲系統具有設備價格低，維護成本低，小容量設備分布部署，對機房環境要求低等優點。但是，分布存儲系統的缺點也比較明顯，比如備份困難，如果用戶將數據存儲在各自的系統上，而不是將他們存儲在中央系統中，很難制定一項有效的備份計劃。該情況還可能導致用戶使用同一文件的不同版本。為了運行程序要求性能更好的PC機，要求使用適當的程序，不同計算機的文件數據需要復制，對某些PC機要求有足夠的存儲容量，形成不必要的存儲成本；管理和維護比較復雜；設備必須要互相兼容。

發明內容

有鑒于此，本發明實施例的目的在于提出一種基于異構計算的分布式存儲加速方法及裝置，能夠降低延時，并且加快存儲的速率。

基于上述目的，本發明實施例的一方面提供了一種基于異構計算的分布式存儲加速方法，包括：S1、配置分布式存儲軟件和FPGA加速單元的運行環境；S2、主機接收客戶端發送的存儲任務，通過分布式存儲軟件對存儲任務根據計算量進行優先級排序，并將大于預定計算量的任務發送到FPGA加速單元進行計算；以及S3、FPGA加速單元對任務進行計算后，將結果返回主機，以供主機按照返回的結果對數據進行讀寫操作。

在一些實施方式中，步驟S1包括：S11、安裝分布式存儲軟件和FPGA加速單元驅動；S12、配置存儲網絡，創建分布式存儲軟件集群；S13、基于分布式存儲軟件集群初始化硬盤；以及S14、添加并激活FPGA加速單元，對FPGA加速單元進行測試。

在一些實施方式中，步驟S13包括：將硬盤的存儲空間的15％初始化為緩存盤，剩余的存儲空間初始化為數據盤。

在一些實施方式中，步驟S1包括：在客戶端設置第一緩存層。

在一些實施方式中，步驟S1還包括：在客戶端與主機的硬盤之間設置第二緩存層。

本發明實施例的另一方面，還提供了一種基于異構計算的分布式存儲加速裝置，包括：主機，用于接收客戶端發送的存儲任務，主機中還包括分布式存儲軟件，分布式存儲軟件配置為對存儲任務進行優先級排序；以及FPGA加速單元，與主機通過PCIe總線進行通信，其中，分布式存儲軟件進一步配置為將高計算量的任務發送到FPGA加速單元進行計算；FPGA加速單元進一步配置為對任務進行計算并將結果返回主機，以供主機按照返回的結果對數據進行讀寫操作。

在一些實施方式中，主機包括CPU，CPU分別連接客戶端和FPGA加速單元，配置用于接收存儲任務并進行拆分下發。

在一些實施方式中，主機包括硬盤，硬盤存儲空間的15％用于緩存。

在一些實施方式中，客戶端還包括第一緩存層，配置用于降低延時。