[發明專利]分布式文件系統的數據存儲方法及系統

有效

• 申請號: 201410645370.0
• 申請日: 2014-11-11
• 公開（公告）號: CN104408091B
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 陳康;鄭緯民;王振釗;黃劍
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/182
• 分類號: G06F16/182
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

本發明公開了一種分布式文件系統的數據存儲方法，包括以下步驟：接收用戶發送的數據文件；判斷數據文件的大小；如果數據文件的大小小于預設值，則將數據文件通過基于日志格式的歸并樹LSM?Tree的KV存儲方法存儲至云端服務器的key?value數據庫；如果數據文件的大小大于預設值，則將數據文件切分為多個子數據文件，并存儲至本地文件系統。本發明實施例的方法通過將數據文件按照文件的大小進行區分，從而提高分布式文件系統的效率，實現整體性能的提升。本發明實施例還公開了一種分布式文件系統的數據存儲系統。

技術領域

本發明涉及文件系統技術領域，特別涉及一種分布式文件系統的數據存儲方法及系統。

背景技術

目前，分布式文件系統如GFS(Google File System，存儲數據的文件系統)、MooseFS、Lusture等都是以建立在單機文件系統的基礎上的。分布式層負責組織邏輯文件到邏輯數據塊列表的映射，而本地文件系統則負責從邏輯數據塊到硬盤數據的映射。兩層各司其職共同完成了數據的尋址與讀寫操作。

其中，本地文件系統通常使用多層索引來組織磁盤上的數據。如Ext系列的文件系統，在訪問數據塊之前必須通過元數據索引找到對應的元數據，而找到該元數據之前必須找到其父目錄的元數據。在進行數據讀寫之前需先經歷一個沿著目錄樹尋找元數據的過程。然而，這樣的訪問模式直接導致了小文件的低讀寫效率。對于大文件來說，這些開銷可以均攤到數據讀寫，配合系統緩存的設計可以將對性能的影響降到極小，但是對于小文件來說，這部分開銷占據了整個訪問時間的絕大部分。因此，本地文件系統對于小文件的性能往往會很差，與大小文件讀寫性能相比會相差一個數量級，并且由于分布式文件系統使用本地文件系統作為后端存儲，文件的讀寫過程相比本地讀寫多了幾次網絡交互，導致在分布式環境下同樣面臨著更加嚴重的小文件讀寫性能較低的問題。

另外，由于分布式文件系統僅使用本地文件系統基本的存儲服務，本地文件系統保留的元數據很多都是不必要的。分布式文件的命名空間組織方式與本地文件系統并不相同，而且是獨立于本地文件系統的，因此為優化小文件讀寫性，相關技術中的分布式系統有待改進。

發明內容

本發明旨在至少在一定程度上解決上述相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種能夠提高系統效率和性能，簡單方便的分布式文件系統的數據存儲方法。

本發明的另一個目的在于提出一種分布式文件系統的數據存儲系統。

為達到上述目的，本發明一方面實施例提出了一種分布式文件系統的數據存儲方法，包括以下步驟：接收用戶發送的數據文件；判斷所述數據文件的大小；如果所述數據文件的大小小于預設值，則將所述數據文件通過基于日志格式的歸并樹LSM-Tree(Log-Structured Merge-Tree，基于日志格式的歸并樹)的KV(key-value，鍵值對)存儲方法存儲至云端服務器的key-value數據庫；以及如果所述數據文件的大小大于所述預設值，則將所述數據文件切分為多個子數據文件，并存儲至本地文件系統。

根據本發明實施例提出的分布式文件系統的數據存儲方法，通過將數據文件按照大小進行區分，如果數據文件的大小小于一定值，則將數據文件通過基于LSMTree的KV存儲方法存儲至云端服務器的key-value數據庫，并且如果數據文件的大小大于一定值，則將數據文件切分為多個子數據文件，并存儲至本地文件系統，從而提高分布式文件系統的效率，實現整體性能的提升。

另外，根據本發明上述實施例的布式文件系統的數據存儲方法還可以具有如下附加的技術特征：

進一步地，在本發明的一個實施例中，在所述將所述數據文件通過LSM-Tree的KV存儲方式至云端服務器的key-value數據庫中之后，還包括：根據所述數據文件的數據塊ID(identity，身份標識號碼)、數據塊版本、數據塊序號生成所述數據文件的Key。