[發(fā)明專利]用于在分布式存儲系統(tǒng)中分配存儲空間的方法和裝置

有效

• 申請?zhí)枺?/td>: 201310085354.6
• 申請日: 2013-03-18
• 公開（公告）號: CN103116552B
• 公開（公告）日: 2017-03-15
• 發(fā)明（設計）人: 王興勇;楊軍
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F12/0871
• 分類號: G06F12/0871;G06F3/06
• 代理公司: 北京永新同創(chuàng)知識產權代理有限公司11376
• 代理人: 鐘勝光

技術領域

本發(fā)明涉及通信網絡中的存儲技術，尤其涉及一種用于在分布式存儲系統(tǒng)中分配存儲空間的方法和裝置。

背景技術

隨著3G網絡的大規(guī)模應用、智能手機的普及、移動多媒體和移動互聯(lián)網業(yè)務的興起，移動寬帶（MBB）數據業(yè)務正面臨著快速增長，這對網間流量、用戶體驗質量（QoE）等提出了新的挑戰(zhàn)。

為了提高用戶的QoE，降低網間流量和對服務器的沖擊，在通信網絡的若干節(jié)點中利用分布式存儲系統(tǒng)是一種不錯的選擇。這種分布式存儲系統(tǒng)的一個示例是分布式Cache（高速緩沖存儲器）系統(tǒng)，該系統(tǒng)通過在邊緣節(jié)點和/或骨干節(jié)點處部署Cache，可以將內容緩存到靠近用戶的位置。

對于分布式Cache系統(tǒng)而言，Cache的讀寫效率和訪問并發(fā)性對于性能提升的影響很大。如果能夠根據數據的相關性，連續(xù)地分配數據的存儲空間以保證數據在磁盤上連續(xù)存儲，則對Cache的讀寫效率有比較可觀的提升。

現有的分布式存儲系統(tǒng)一般采用以下兩種方式來分配存儲空間。一種方式是按需分配，其僅根據要寫入的數據的大小來分配足夠的存儲空間，而不保證數據在磁盤上的連續(xù)存儲。另一種方式是服務器集中分配，其需要一個服務器完全負責磁盤空間的分配和管理，從而容易導致單點瓶頸問題，限制了系統(tǒng)的規(guī)模和吞吐量。

圖1示出了一種現有的服務器集中分配的分布式存儲系統(tǒng)100的示意圖。圖1所示的分布式存儲系統(tǒng)中包括存儲服務器端101和若干客戶端105。該存儲服務器端101包括預分配描述符管理模塊102、寫請求處理模塊103以及ext3本地文件系統(tǒng)104。

圖1所示的分布式存儲系統(tǒng)100按照以下步驟來實現用戶數據寫入：客戶端105向存儲服務器端101發(fā)送針對某個目標文件的寫請求；寫請求處理模塊103根據該寫請求中所包含的信息，獲取目標文件相關信息（例如文件名）并打開目標文件；預分配描述符管理模塊102根據目標文件相關信息，為目標文件初始化一個塊預分配描述符，并將該塊預分配描述符緩存在存儲服務器端101的內存中；存儲服務器端101中的ext3本地文件系統(tǒng)104根據該塊預分配描述符，為目標文件預留相應的數據塊；存儲服務器端101在完成對目標文件的寫入操作之后關閉該目標文件；在存儲服務器端101關閉目標文件之后，該目標文件的上述預分配描述符繼續(xù)緩存在內存中。

然而，圖1所示的分布式存儲系統(tǒng)存在以下缺點。

(1)由于存儲服務器端集中地負責磁盤空間的分配和管理，并且客戶端直接向該服務器發(fā)起寫請求，因此當存在很多客戶端時或者當客戶端的讀寫請求頻繁時，會增加存儲服務器端的負擔（例如單點瓶頸問題）。

(2)存儲服務器端在存儲客戶端的寫請求時，不是立即將該數據寫入磁盤，而是先將要寫入同一數據對象的數據預先緩存在系統(tǒng)內存中，直到數據累積到一定長度或用戶最后一次寫請求時，才進行寫入操作。由于系統(tǒng)內存的總量是有限的，系統(tǒng)的并發(fā)性不是很好，同時數據容易丟失。

(3)以文件為粒度進行存儲，并且通常為需要存儲的數據直接向存儲服務器申請物理存儲單元（block），而未基于條帶化存儲做優(yōu)化。

發(fā)明內容

考慮到現有技術的上述缺點，本發(fā)明提供了用于在分布式存儲系統(tǒng)中分配存儲空間的技術方案（包括方法和裝置等）。利用本發(fā)明的技術方案，可以在克服現有技術的上述缺點的基礎上，保證用戶訪問相關性大的數據連續(xù)存儲并改善分布式系統(tǒng)中隨機存儲的讀寫性能問題。

在一個方面，本發(fā)明提供了一種于在分布式存儲系統(tǒng)中分配存儲空間的方法。該方法包括步驟：接收針對文件的數據寫請求，所述數據寫請求包含要寫入一個或多個存儲設備的數據，其中，所述一個或多個存儲設備是由存儲設備服務器來管理的；確定是否需要為所述數據的至少一部分分配空閑存儲空間；如果確定需要為所述數據的所述至少一部分分配空閑存儲空間，則向所述存儲設備服務器申請空閑邏輯管理單元chunk，申請得到的空閑chunk包含的存儲空間不小于存儲所述數據的所述至少一部分所需的存儲空間；向所述存儲設備服務器發(fā)起寫請求，以將所述數據的所述至少一部分寫入所述一個或多個存儲設備。