[發(fā)明專利]一種基于LSM-Tree結構的日志文件系統(tǒng)的構建方法

有效

• 申請?zhí)枺?/td>: 201610152908.3
• 申請日: 2016-03-17
• 公開（公告）號: CN105787093B
• 公開（公告）日: 2019-07-02
• 發(fā)明（設計）人: 陳康;武永衛(wèi);鄭緯民;王振釗
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/13
• 代理公司: 北京清亦華知識產(chǎn)權代理事務所(普通合伙) 11201
• 代理人: 張大威

本發(fā)明提出了一種基于LSM?Tree結構的日志文件系統(tǒng)的構建方法，包括如下步驟構建基于LSM?Tree結構的日志文件系統(tǒng)fuse框架接口，包括如下步驟：構建基于LSM?Tree結構的日志文件系統(tǒng)的多個目錄操作函數(shù)和文件操作函數(shù)；采用哈希映射函數(shù)向構建的基于LSM?Tree結構的日志文件系統(tǒng)中添加和查詢記錄數(shù)據(jù)。本發(fā)明可以在保持大文件讀寫性能不變的前提下，能夠有效地提高目錄、小文件的讀寫性能。

技術領域

本發(fā)明涉及文件系統(tǒng)技術領域，特別涉及一種基于LSM-Tree結構的日志文件系統(tǒng)的構建方法。

背景技術

文件系統(tǒng)是操作系統(tǒng)在計算機的磁盤上存儲和管理數(shù)據(jù)的機制。1964年由貝爾實驗室、麻省理工學院及北美通用電氣公司共同開發(fā)研制的Multics分時操作系統(tǒng)，首次提出了目錄樹結構思想，標志著現(xiàn)代文件系統(tǒng)的起源。

UNIX操作系統(tǒng)將這一樹形思想用于自己的文件系統(tǒng)設計中，形成了包含引導塊、超級塊、索引節(jié)點和數(shù)據(jù)塊四個模塊的文件系統(tǒng)架構。此后，許許多多文件系統(tǒng)都沿用了這一組織架構。

為了不斷提高I/O性能，1984年出現(xiàn)了快速文件系統(tǒng)(Fast File System，簡稱FFS)。它引入了柱面組(Cylinder Group)的概念，盡可能將同一目錄下的若干文件保存在同一組中，將同一個文件的若干數(shù)據(jù)塊保存在同一個組中，這樣能夠顯著減少總尋道時間，提升讀寫性能。繼FFS之后，1989年出現(xiàn)了日志結構文件系統(tǒng)(Log-structured FileSystem)，它采用日志追加的思想，以記錄日志的形式進行文件的寫入，并在日志結構上做索引用于文件的讀取，大大提升了寫性能，使用這種結構能夠實現(xiàn)文件系統(tǒng)崩潰后的快速恢復。

1994年，隨著Linux1.0內核的誕生，擴展文件系統(tǒng)(The Extended File System,簡稱ext)系列開始進入人們視線，ext1是第一個Linux虛擬文件系統(tǒng)(Linux Virtual FileSystem，簡稱Linux VFS)，可管理的最大磁盤空間為2GB，此時ext1各方面還略顯簡陋。ext2的出現(xiàn)，逐漸開始流行，它具有可管理最大磁盤空間16TB、最大文件大小2TB、最長文件名255字節(jié)等諸多優(yōu)點，但是其在日志管理方面有明顯的缺陷，不適合于對安全性要求高的系統(tǒng)。2001年，ext3應運而生，它在ext2基礎上加入了健全的日志功能，解決了ext2的致命弱點，使用ext3能夠極大提高文件系統(tǒng)數(shù)據(jù)的可靠性，即使發(fā)生非正常宕機，在開機后只需要10秒鐘即可恢復數(shù)據(jù)。為了支持更大的文件、管理更大的磁盤空間、做出若干優(yōu)化，產(chǎn)生了ext4文件系統(tǒng)，它使用延遲分配、多塊分配、無日志模式等來提高性能，并支持無限數(shù)量的子目錄、在線碎片整理、持久預分配等功能，是對ext3的進一步優(yōu)化。

ext3是當前最為流行的Linux文件系統(tǒng)，本文挑選ext3作為傳統(tǒng)文件系統(tǒng)的代表，將ext3作為研究對象，分析這一類文件系統(tǒng)架構的共同特點。

在ext3等傳統(tǒng)文件系統(tǒng)為用戶提供高可用性、高存取速度、多日志模式支持等諸多優(yōu)點的同時，此類傳統(tǒng)文件系統(tǒng)架構也有它不足的地方，尤其是對于小文件存儲而言，具體來說體現(xiàn)在如下三個方面的缺陷：數(shù)據(jù)分布隨機化、空間浪費和索引節(jié)點資源有限。

發(fā)明內容

本發(fā)明的目的旨在至少解決所述技術缺陷之一。

為此，本發(fā)明的目的在于提出一種基于LSM-Tree結構的日志文件系統(tǒng)的構建方法。

為了實現(xiàn)上述目的，本發(fā)明的實施例提供一種基于LSM-Tree結構的日志文件系統(tǒng)的構建方法，包括如下步驟：

步驟S1，構建基于LSM-Tree結構的日志文件系統(tǒng)fuse框架接口，包括如下步驟：