[發明專利]一種將對象存儲系統實現為本地文件系統的方法

有效

• 申請號: 201710040491.6
• 申請日: 2017-01-20
• 公開（公告）號: CN107045530B
• 公開（公告）日: 2019-07-26
• 發明（設計）人: 阮培源;王同洋;路松峰;黃炎;劉儒君;廖衛國
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F16/172
• 分類號: G06F16/172
• 代理公司: 武漢東喻專利代理事務所(普通合伙) 42224
• 代理人: 方可

本發明公開了一種將對象存儲系統實現為本地文件系統的方法，采用文件系統元數據緩存算法和內存描述結構，減少了應用程序與swift存儲系統后臺的交互次數，提高了應用程序訪問swift存儲系統的性能；采用預分配內存池和延遲批量回收空閑內存塊的策略，提高了遍歷一個包含大量子目錄和文件的目錄時的效率；采用打開文件句柄內存描述結構，使得應用程序能高效的進行文件讀寫操作；采取預讀策略，有效減少應用服務器和swift存儲后端之間的網絡交互次數，提供文件系統的讀性能；采用零次拷貝，分塊寫入的策略，在寫文件的過程中沒有任何的數據拷貝和緩存，每次write系統調用都是一個完整的塊寫入操作，提高了文件寫入的效率。

技術領域

本發明屬于計算機存儲技術領域，更具體地，涉及一種將對象存儲系統實現為本地文件系統的方法。

背景技術

用戶空間文件系統(Filesystem In Userspace，FUSE)是一種Unix/Linux操作系統提供的機制，這種機制使得非特權用戶無需理解Unix/Linux內核的文件系統實現、無需編輯和編譯內核的源代碼就可以實現自己的文件系統。目前，FUSE已經被廣泛用于編寫開發各種文件系統，與傳統的文件系統不同，FUSE并不一定真正地讀寫磁盤，它提供到已存在的文件系統或存儲設備的轉換，使得已存在的文件系統或存儲設備上的數據以文件和目錄的形式提供給用戶或應用。

對象存儲系統swift是開源云計算項目OpenStack的子項目之一。swift是一個無單點故障問題的分布式的對象存儲系統，提供數據的高可用性和最終一致性，swift存儲系統具有高的水平擴展性，無論是性能還是容量的擴展，都可以通過增加物理節點服務器來獲得。swift存儲系統提供http/https、REST API的對象訪問接口，可用來高效、安全、廉價地存儲大量的數據。

目前，借助FUSE文件系統框架將對象存儲系統實現為本地文件系統已經有一些成熟穩定的實現案例，如s3fs、ExpanDriv，s3fs是一個基于FUSE的文件系統，后端由AmazonS3提供存儲支撐，用戶可以將Amazon S3的bucket掛載為本地的文件系統。ExpanDrive是一個針對Mac OS X和Microsoft Windows用FUSE實現的商業版本的網絡文件系統客戶端，它能將本地卷映射到FTP、Amazon S3、swift、WebDAV、Dropbox等存儲服務器。Cloudfuse是一個借助FUSE將swift中一個Account實施為本地文件系統的開源實現。

然而，像s3fs、ExpanDrive和cloudfuse等這些基于FUSE實現的文件系統客戶端，都是針對PC機上個人用戶做了充分的考慮和優化，但是它們并不適合于作為應用服務器上的存儲支撐。將諸如swift、Amazon S3等對象存儲系統借助FUSE實現為本地文件系統，在處理對一個幾百兆或GB級別的大文件進行讀或寫，或是對一個有幾千上萬個子目錄的大目錄進行遍歷的應用場景時，文件系統表現出來的性能和該文件系統實現的算法是密切相關的。特別地，如果是該客戶端的應用同時操作多個大文件和大目錄，性能和穩定性問題就尤為突出。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種將對象存儲系統實現為本地文件系統的方法，通過高效的文件元數據緩存算法、遍歷目錄時的內存使用算法、讀文件的緩存算法、分塊的文件寫入算法等減少了內存使用量，提高了該文件系統的讀和寫性能，減少了FUSE文件系統和后端swift存儲系統的網絡交互，為將swift對象存儲系統掛載到應用服務器本地作為本地文件系統訪問提供了可行性。由此解決現有技術中應用同時操作多個大文件和大目錄時出現的性能和穩定性的問題。

為實現上述目的，按照本發明的一個方面，提供了一種將對象存儲系統實現為本地文件系統的方法，包括：