[發明專利]一種性能優化的小文件存儲訪問的系統及方法

在審

• 申請號: 201710015554.2
• 申請日: 2017-01-10
• 公開（公告）號: CN107066505A
• 公開（公告）日: 2017-08-18
• 發明（設計）人: 聶東旭
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南舜源專利事務所有限公司37205
• 代理人: 張亮

技術領域

本發明涉及分布式文件系統中的小文件存儲方法技術領域，特別涉及一種性能優化的小文件存儲訪問的系統及方法。

背景技術

隨著互聯網技術的不斷發展，互聯網上充斥著各式各樣的服務和海量數據信息。為了能夠更好地組織和管理這些海量數據，目前已提出了各種類型的分布式文件系統結構。由于互聯網上的數據信息大多以高頻率的小文件形式表現出來，而且在一般用戶的信息存儲訪問中，對小文件的存儲訪問較多，因此對互聯網上高頻率的小文件讀/寫性能的研究有重要的現實意義。

在分布式文件系統中，對于大文件，往往采用條帶化技術對文件進行切片，并分發在多個數據服務器上進行存儲，以此來提高用戶對文件訪問的并發性，從而提高對大文件的訪問性能。而對于小文件(≤64KB)，由于其不利于條帶化，所以一般是采用將單個文件存儲在單個數據服務器上的策略。但是當小文件的數量到達一定程度之后，對小文件的大量地重復訪問將會給數據服務器帶來性能上的負擔及I/O瓶頸問題。

傳統的分布式文件系統在小文件管理上主要存在以下3個方面的問題：

1)由于小文件的訪問頻率較高，需要多次訪問磁盤，所以磁盤I/O的性能較低；

2)因為文件比較小，容易形成文件碎片而造成磁盤空間的浪費；

3)為每個小文件請求建立一個連接時容易產生網絡時延。

因此，優化小文件的存儲訪問性能至關重要。目前，小文件的優化存儲訪問研究主要是針對小文件訪問I/O性能較低和容易形成文件碎片的問題，但沒有考慮其他操作帶來的文件變動問題。

其他相關的研究還包括對現有分布式文件系統的優化研究和文件傳輸的優化等。但該研究主要用于通用文件的傳輸，還不能最優化小文件的傳輸性能。

發明內容

為了解決現有技術的問題，本發明提供了一種性能優化的小文件存儲訪問的系統及方法，其將邏輯上連續的數據盡可能存儲在物理磁盤的連續空間，使用Cache充當元數據服務器的角色并通過簡化的文件信息節點提高Cache利用率，提高了小文件訪問性能；寫數據時聚合更新數據及其文件夾域中的相關數據為一次I/O請求寫入，減少了文件碎片數量，提高了存儲空間利用率；文件傳輸時利用局部性原理，提前發送批量的高訪問率的小文件，降低了建立網絡連接開銷，提升了文件傳輸性能。

本發明所采用的所述技術方案如下：

一種性能優化的小文件存儲訪問的系統，包括文件系統接口、文件夾域管理器、文件信息節點管理器、塊管理器和文件緩沖管理器五個模塊，所述的文件系統接口負責對其他模塊進行封裝，向上層提供靈活統一的文件訪問接口；所述的文件夾域管理器負責對文件夾域進行管理，它負責管理同一個文件夾的各個文件信息節點和存儲在該文件夾中的所有文件數據；所述的文件信息節點管理器負責對文件信息節點進行理；所述的塊管理器負責對磁盤塊的空間管理，磁盤空間的開辟也是由此模塊負責；所述的文件緩沖管理器負責對文件緩存的管理。

在所述的文件信息節點管理器中，還設定了一個文件信息節點的緩存器，這個緩存器用于存放最近訪問過的和高頻率訪問的文件信息節點。

一種性能優化的小文件存儲訪問的方法，包括：

A、將磁盤空間劃分為多個塊，每個塊的大小為64KB，當遇到的文件≤64KB時，則所述的文件只能存放在單個塊中，不能跨越2個塊存放，每個文件數據都存放在連續的磁盤空間上；

B、當系統要讀取某一個文件時，采用預讀的方式，將同一個塊中的文件一起讀取出來；

C、使用cache充當元數據服務器的角色，在cache上保存文件信息節點的信息，并且通過簡化的Inode數據結構使每個文件信息節點只保留文件的磁盤空間信息，所述的Inode數據結構如下表所示：