[發明專利]一種性能優化的小文件存儲訪問的系統及方法

在審

• 申請號: 201710015554.2
• 申請日: 2017-01-10
• 公開（公告）號: CN107066505A
• 公開（公告）日: 2017-08-18
• 發明（設計）人: 聶東旭
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南舜源專利事務所有限公司37205
• 代理人: 張亮

1.一種性能優化的小文件存儲訪問的系統，包括文件系統接口、文件夾域管理器、文件信息節點管理器、塊管理器和文件緩沖管理器五個模塊，所述的文件系統接口負責對其他模塊進行封裝，向上層提供靈活統一的文件訪問接口；所述的文件夾域管理器負責對文件夾域進行管理，它負責管理同一個文件夾的各個文件信息節點和存儲在該文件夾中的所有文件數據；所述的文件信息節點管理器負責對文件信息節點進行理；所述的塊管理器負責對磁盤塊的空間管理，磁盤空間的開辟也是由此模塊負責；所述的文件緩沖管理器負責對文件緩存的管理。

2.根據權利要求1所述的一種性能優化的小文件存儲訪問的系統，其特征在于，在所述的文件信息節點管理器中，還設定了一個文件信息節點的緩存器，這個緩存器用于存放最近訪問過的和高頻率訪問的文件信息節點。

3.一種性能優化的小文件存儲訪問的方法，包括：

A、將磁盤空間劃分為多個塊，每個塊的大小為64KB，當遇到的文件≤64KB時，則所述的文件只能存放在單個塊中，不能跨越2個塊存放，每個文件數據都存放在連續的磁盤空間上；

B、當系統要讀取某一個文件時，采用預讀的方式，將同一個塊中的文件一起讀取出來；

C、使用cache充當元數據服務器的角色，在cache上保存文件信息節點的信息，并且通過簡化的Inode數據結構使每個文件信息節點只保留文件的磁盤空間信息，所述的Inode數據結構如下表所示：

File_idStartPasitionLengthWeightBlockidicountLock

其中，Folder_id是文件標識符；

StartPisition是文件在塊中的起始位置；

Length是文件的長度；

Wright是文件權重；在本發明的系統中代表文件的訪問頻率；

BLOCK_ID是文件所存放的塊的標識符；

I_clock是文件的訪問計數器；

Lock是文件鎖；

D、在寫操作時使用優化方法來減少由于文件的刪除或者修改而導致的文件碎片；所述的優化方法包括更新文件時的寫優化方法和創建文件時的寫優化方法；

E、優化文件傳輸的方法，具體是：對每個文件夾，根據文件夾里的每個文件的訪問頻率形成一個排序列表；當用戶訪問該文件夾里的某個文件時，系統會自動地將這個排序列表里高訪問頻率的文件一起發送過去。

4.根據權利要求3所述的一種性能優化的小文件存儲訪問的方法，其特征在于，所述的更新文件時的寫優化方法具體包括：

1)當一個文件的數據發生更新時，則從它開始，把存在于當前塊中并處于它后面的文件，以及從那些零散塊取出文件，聚合在一起，作為單個I/O請求寫入磁盤，所述文件都是存放在cache中；

2)如果在當前塊中，存在沒有被放入cache中但是又處于被更新文件之后的文件，此時，并不對其進行聚合寫入；

3)當更新后的文件比較大，使得原來塊沒有足夠的空間存放更新后的文件時，則系統會將此文件先讀出再選擇適合的塊進行存放，系統找到一個合適的零散塊，并將更新文件同此零散塊中的文件一起聚合寫入，如果系統找不到合適的零散塊，則會從碎片中找到合適大小的空間進行存放，再采用同樣的機制進行聚合寫入。