[發明專利]一種基于GlusterFS分布式文件系統的分布式對象存儲系統

有效

• 申請號: 201911289069.X
• 申請日: 2019-12-13
• 公開（公告）號: CN110990370B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 莊鵬盛
• 申請（專利權）人: 南京富士通南大軟件技術有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 王磊

本發明公開了一種基于GlusterFS分布式文件系統的分布式對象存儲系統，包括AWS?S3接口處理層、小文件聚合架構中間層和GlusterFS分布式文件系統；AWS?S3接口處理層為對接AWS?S3接口；小文件聚合架構中間層實現小文件聚合；GlusterFS分布式文件系統為本發明系統的存儲后端。本發明的2級索引和數據存儲利用GlusterFS分布式文件系統作為存儲后端，數據冗余性保護可以借助GlusterFS實現，任意節點上傳的數據不會因為節點故障而丟失，且節點間的數據的自動同步依賴給GlusterFS分布式文件系統，不需要額外關注；1級索引使用內存作為介質，獲得了更高性能。

技術領域

本發明屬于分布式對象存儲技術領域，具體涉及一種基于GlusterFS分布式文件系統的分布式對象存儲系統。

背景技術

在互聯網(尤其是移動互聯網)、物聯網、云計算、大數據等高速發展的大背景下，數據呈現爆炸式地增長。據IDC的預測，到2020年產生的數據量將達到44ZB，到2025年達到175ZB。

通常認為大小在1MB以內的文件稱為小文件，百萬級數量及以上稱為海量，由此量化定義海量小文件問題。由于在元數據管理，訪問性能，存儲效率等方面面臨巨大的挑戰性，海量小文件問題是當前工業界和學術界公認的難題。

GlusterFS分布式文件系統就有海量小文件問題。在海量小文件環境下，GlusterFS分布式文件系統在以下兩點上表現不盡如人意：

首先，文件檢索困難：海量小文件環境下，元數據操作比例大幅上升，大量并發的隨機磁盤訪問,極大降低了機械磁盤運行效率，導致文件檢索速度極差，甚至會出現大目錄無法打開的情況。

其次，讀寫性能低下：海量小文件環境下，由于文件較小，數據讀寫也同樣表現為隨機模式，數據訪問延遲較大，而用戶業務多采用同步方式處理海量文件,系統整體的IOPS表現極低，業務操作耗時居高不下。

由于上述文件檢索困難和讀寫性能低下的問題，間接引發了以下兩個問題：

運維困難：管理海量文件困難眾多，備份數據、刪除文件、文件整理等日常運維操作，都會相當耗時，甚至會持續數天。同時，這些操作也消耗大量系統資源，影響前端業務的正常運轉。

成本問題：某些高端存儲設備采用大容量緩存和大量SSD磁盤來提升海量小文件性能，但是成本較高。另外，業務中經常出現的小文件及大文件混合應用的場景，也進一步降低了產品性價比。

目前業界針對海量小文件問題的一個比較有效的對策是小文件聚合技術。通過元數據結構和優化和小文件的聚合，直截了當地解決檢索問題和讀寫性能問題，進而針對性的化解海量小文件問題。

發明內容

本發明所要解決的技術問題是針對上述現有技術的不足，提供一種基于GlusterFS分布式文件系統的分布式對象存儲系統。

為實現上述技術目的，本發明采取的技術方案為：

一種基于GlusterFS分布式文件系統的分布式對象存儲系統，所述分布式對象存儲系統包括AWS?S3接口處理層、小文件聚合架構中間層和GlusterFS分布式文件系統；

所述AWS?S3接口處理層位于分布式對象存儲系統最上層，用于對接AWS?S3接口；

所述小文件聚合架構中間層用于實現小文件聚合；

所述GlusterFS分布式文件系統為分布式對象存儲系統的存儲后端。

為優化上述技術方案，采取的具體措施還包括：

上述的小文件聚合架構中間層利用內存作為1級索引，以SSD作為介質創建的GlusterFS分布式文件系統作為2級索引，以普通介質創建的GlusterFS分布式文件系統作為數據存儲。