[發明專利]一種文件條帶化寫入方法、裝置及系統

無效

• 申請號: 201110446375.7
• 申請日: 2011-12-28
• 公開（公告）號: CN102566942A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 于璠
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30;H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及文件系統領域，特別是一種文件的條帶化寫入方法、裝置及系統。

背景技術

由于互聯網應用的不斷發展，特別是虛擬化云計算的興起，已經開創了一個新的計算模式。為了響應這種發展，被共享的數據的大小也大大增長。用戶不光要處理標準的HTML(Hypertext?Markup?Language)文檔，還會訪問其它各種數據，例如音頻數據、視頻數據、游戲數據等等。這樣就需要有能夠容納大數據的數據存儲，并且同時還能對數據進行高速、可靠的訪問。

本地文件系統由于單個節點本身的局限性，已經很難滿足海量數據存取的需要了，因而不得不借助分布式文件系統(分布式文件系統是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。分布式文件系統的設計基于物理機/服務器模式)，把系統負載轉移到多個節點上。通常情況下，在分布式文件系統中，讀寫一個文件只會經過一個存儲服務器，而當該文件比較大時，其讀寫速度與吞吐量，會受限于這單臺存儲服務器的計算能力。

為了解決上述問題，引入了條帶化技術。條帶化技術重新組織數據，它讓數據分片在多臺存儲服務器上，以便并行存取。這樣，對于大文件的讀寫，會同時利用多臺存儲服務器的能力，提高文件的讀寫速度與吞吐量。然而，條帶化無法對小文件(小于一個條帶化片大小，一般為128k)進行分片存取，所以針對大量小文件的場景，其改進效果甚微，一般不采用條帶化技術。

云計算提供了諸如低能耗、高利用率、安全、方便、共享等優點，它必須具備兩大基礎技術——虛擬化和數據中心自動化，即虛擬化集群技術。虛擬化集群中，同時存在大量大文件，例如鏡像文件(大小在10G以上)和大量小文件，例如配置文件(幾K～幾十K)等。為了提高鏡像文件的讀寫速度，分布式文件系統需要開啟條帶化，按序從某個(例如第一個)存儲服務器開始分條帶片存取。但此時，小于一個條帶化片的小文件，卻都只會放在某個(例如第一個)存儲服務器中。在虛擬化集群的桌面辦公場景下，一般會在固定的時間點，同時啟動或者關閉大量虛擬機(Virtual?Machine，VM)。如果啟用條帶化技術，虛擬機的配置文件都會放在某個(例如第一個)存儲服務器上，如果同時啟動或關閉大量虛擬機，某個存儲服務器的IO操作會異常頻繁，進而成為系統瓶頸。

目前有兩種主流的分布式存儲方案，第一種以Glusterfs和CLVM(Clustered?Logical?Volume?Manager)為代表的存儲方案，它們均采用條帶化分片存儲，文件被劃分為固定長度的數據分片，以輪轉(Round-Robin)方式存儲在所有的存儲服務器上，但是該存儲方案主要針對大文件存儲場景設計，存在如下缺點：在虛擬化集群場景下，同時存在大量大文件和大量小文件，小文件會堆積在第一個存儲服務器上，例如同時啟動和關閉虛擬機時，第一個存儲服務器會成為IO瓶頸，甚至影響整個集群系統。第二種是以DCFS3(Dawning?cluster?File?system?v3)和PVFS(Parallel?Virtual?File?System)為代表的存儲方案，它們也采用條帶化分片存儲，文件被劃分為固定長度的數據分片，以輪轉(Round-Robin)方式存儲在一組存儲服務器上，但是和第一種方案一樣，無法解決IO操作頻繁的小文件造成的存儲服務器瓶頸問題。

發明內容

本發明實施例提供一種分布式文件系統的寫入方法、裝置以及一種分布式文件系統，有效解決虛擬化集群等環境下存儲服務器因IO壓力過大而造成的系統性能瓶頸問題。

為此，本發明實施例提供如下技術方案：

本發明實施例提供一種文件條帶化寫入方法，所述方法應用于包括多個存儲服務器的分布式文件系統中，所述方法包括：

獲取所述文件的寫入數據大小；

當所述文件是輸入輸出IO操作頻繁的文件，且所述文件的寫入數據大小小于或者等于文件條帶化片大小時，從所述多個存儲服務器中選取當前IO壓力最小的存儲服務器，或者從所述多個存儲服務器中隨機選取一個存儲服務器；

以當前IO壓力最小的存儲服務器，或者隨機選取的一個存儲服務器作為文件條帶化的初始位置，將所述文件條帶化寫入所述存儲服務器。

本發明實施例還提供一種終端，其特征在于，所述裝置應用于包括多個存儲服務器的分布式文件系統中，所述裝置包括：

文件寫入數據獲取單元，用于獲取所述文件的寫入數據大小；