[發明專利]一種基于GlusterFS分布式文件系統的分布式對象存儲系統

有效

• 申請號: 201911289069.X
• 申請日: 2019-12-13
• 公開（公告）號: CN110990370B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 莊鵬盛
• 申請（專利權）人: 南京富士通南大軟件技術有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 王磊

1.一種基于GlusterFS分布式文件系統的分布式對象存儲系統，其特征在于，所述分布式對象存儲系統包括AWS?S3接口處理層、小文件聚合架構中間層和GlusterFS分布式文件系統；

所述AWS?S3接口處理層位于分布式對象存儲系統最上層，用于對接AWS?S3接口；

所述小文件聚合架構中間層用于實現小文件聚合；

所述GlusterFS分布式文件系統為分布式對象存儲系統的存儲后端；

所述小文件聚合架構中間層利用內存作為1級索引，以SSD作為介質創建的GlusterFS分布式文件系統作為2級索引，以普通介質創建的GlusterFS分布式文件系統作為數據存儲；

所述2級索引和數據存儲兩塊使用了GlusterFS分布式文件系統的地方均采用了追記寫的模式，以減少磁盤I/O的尋道時間和旋轉延遲，從而實現寫入時的高IOPS；

所述1級索引具有節點間的主備機制以及內存的刷盤機制；

節點間的主備采用環狀結構，即節點2為節點1的備，節點3為節點2的備，節點1為最后一個節點的備；

某節點宕機時，其對應備節點升級成主，接替其工作；

正常運作時，所有針對1級索引的增刪改操作均實時在主備兩節點間復制同步，以確保宕機時，備節點能立刻接替原來的主的工作；

當某節點收到1級索引的更新請求時，先更新當前節點的數據，然后通過網絡請求同步更新備節點上的數據，最后應答本次處理的結果。

2.根據權利要求1所述的一種基于GlusterFS分布式文件系統的分布式對象存儲系統，其特征在于，所述分布式對象存儲系統采用后臺定時垃圾回收的方法清除2級索引和數據存儲兩塊使用了GlusterFS分布式文件系統的地方遺留的垃圾數據，包括以下步驟：

步驟1：啟動垃圾回收；

步驟2：循環處理所有大文件：

步驟2.1：判斷待處理的大文件是否超過垃圾回收的閾值，超過則進入步驟2.2，否則處理下一個大文件；

步驟2.2：重建2級索引；

步驟2.3：重建數據存儲；

步驟2.4：數據存儲新舊替換；

步驟2.5：2級索引新舊替換；

步驟2.6：判斷是否還有未處理的大文件，若沒有，則結束垃圾回收，否則轉入步驟2.1處理下一個大文件。

3.根據權利要求1所述的一種基于GlusterFS分布式文件系統的分布式對象存儲系統，其特征在于，所述內存的刷盤機制包括實時刷盤和間隔時間刷盤兩種機制，內存的刷盤機制處理流程為：

當1級索引有更新時，查看是否需要實時刷盤的標志位，如有，則執行實時刷盤操作，否則直接跳過實時刷盤階段；然后查看有無間隔時間刷盤的標志位，如有，則更新1級索引的同時，把本次更新寫入間隔刷盤用的緩沖區；

當采用間隔刷盤機制時，后臺有常駐線程間隔時間檢查這段時間的間隔刷盤用的緩沖區，如有，則執行異步刷盤操作。