[發明專利]一種面向云操作系統的數據存儲架構及其負載均衡方法

無效

• 申請號: 201110391224.6
• 申請日: 2011-11-30
• 公開（公告）號: CN102523258A
• 公開（公告）日: 2012-06-27
• 發明（設計）人: 劉祥濤;岳強;季統凱
• 申請（專利權）人: 廣東電子工業研究院有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

技術領域

本發明涉及云計算領域，尤其是一種面向云操作系統的數據存儲架構及其負載均衡方法。

背景技術

云操作系統能對包括處理器、存儲、網絡在內的硬件資源進行統一管理。在當前的云操作系統應用部署中，數據存儲主要有兩種用途：(1)用戶接口存儲，即提供給用戶所使用的存儲；(2)系統所需存儲，例如虛擬機鏡像存儲，當前，云操作系統的數據存儲存在性能不高、擴展性不好、不穩定、安全性不夠等問題。

發明內容

本發明解決的技術問題之一在于提供一種面向云操作系統的數據存儲架構，可以解決元數據服務的可用性、可擴展性。

本發明解決的技術問題之二在于提供一種面向云操作系統的數據負載均衡方法，可以充分利用元數據服務器的計算資源。

本發明解決上述技術問題之一的技術方案是：

采用分布式存儲架構將元數據和數據進行分離，使用專門的元數據服務器存儲元數據和處理客戶端對元數據的請求；

當客戶端欲獲取某文件數據時，將首先和元數據服務器通信，獲取描述該文件數據的元數據，即獲取數據在數據服務器集群的存儲位置以及其他信息；然后客戶端和數據服務器集群通信，獲取其想要的數據。

所述的元數據服務系統架構采用了多臺元數據服務器。

所述的元數據指描述數據及其環境的數據，特指描述文件信息或文件目錄信息的數據，這些信息包括文件大小、存放位置等。

元數據存儲介質為固態硬盤、高速緩存。

本發明解決上述技術問題之二的技術方案是：

以目錄為操作的最小單位；對大目錄，則進行目錄劃分，即將大目錄劃分為合適大小的目錄；然后，采用哈希的方式來進行負載的均勻分配。

對熱點數據，提供元數據副本機制，即根據文件或目錄的流行度，設置相應數量的副本數。

本發明多元架構具有如下優點：(1)無單點故障，當部分元數據服務器失效時，其他元數據服務器會接管元數據服務，保證元數據服務的高可用性；(2)可擴展性好，存儲規模需要不斷擴展，可能擴展到PB甚至EB級存儲量，當存儲量擴充時，可相應增加元數據服務器數量，以適應元數據服務的速度要求。針對云操作系統數據存儲的元數據服務應用場景，提出獨特的在多個元數據服務器上進行負載均衡的方法，平攤負載，從而充分利用元數據服務器的計算資源。將元數據與數據進行分離的優點在于：(1)功能劃分清楚，邏輯簡單；讓數據服務器專門存儲數據和處理數據請求，而將存儲和處理元數據的任務交給專門的服務器，各司其職，讓處理邏輯變的簡單清晰。(2)元數據服務占數據讀寫總量的30％到70％，而且元數據讀寫中絕大部分為小數據量隨機讀寫，將占高比重的元數據服務與數據服務相分離，可以提高處理速度。

用固態硬盤和高速緩存的方式存儲元數據雖然成本較傳統SATA硬盤高，但是由于固態硬盤在讀寫數據時沒有尋道時間和旋轉時間，特別適合于進行頻繁的小數據量的數據讀寫，而且，元數據的數據量不大，故在關鍵性能點采用適合應用場景的成本較高的固態硬盤是可取的。為進一步提高元數據讀寫速度，對熱點較高的數據，采用高速緩存的方式進行緩存，從而進一步提高元數據服務的讀取性能。

附圖說明

下面結合附圖對本發明進一步說明：

圖1是本發明元數據服務系統架構示意圖；

圖2是本發明多元數據服務器負載均衡示意圖。

具體實施方式

如圖1所示，本發明引入了多元數據服務器架構，分布式存儲架構將元數據和數據進行分離，使用專門的元數據服務器來存儲元數據和處理客戶端對元數據的請求。當客戶端欲獲取某文件數據時，將首先和元數據服務器通信，獲取描述該文件數據的元數據，即獲取數據在數據服務器集群的存儲位置以及其他信息；然后客戶端和數據服務器集群通信，獲取其想要的數據。針對占比高達30％到70％的元數據服務流量，提出引入多個元數據服務器來進行負載均衡，同時針對關鍵數據，采用固態硬盤和高速緩存的方式來存儲，從而解決熱點數據的輸入輸出速度。

元數據，指描述數據及其環境的數據；在本發明的數據存儲背景下，特指描述文件信息或文件目錄信息的數據，這些信息包括：文件大小、存放位置等。

多元數據服務器，是云操作系統數據存儲元數據服務的核心，負責響應元數據服務請求，進行相應的元數據響應，返回文件的元數據信息。

針對關鍵數據，采用固態硬盤加高速緩存的方式進行存儲，以提高熱點數據的輸入輸出速度。

在元數據服務中，通常會有局部性要求，例如顯示某一目錄下所有文件信息的命令：ls，就要獲取某一目錄下的文件信息；同時，負載均衡一般要求能將負載通過適當的方式分攤到多臺服務器上。為兼顧這兩種要求，本發明以目錄為操作的最小單位(圖2)，但對大目錄，還需要進行目錄劃分，即將大目錄劃分為合適大小的目錄；然后，采用哈希的方式來進行負載的均勻分配，做到兼顧局部性的負載盡量分攤，其中，以目錄為操作的最小單位可以保證同一目錄下文件元數據的局部性，同時，哈希函數的引入可以打散對應不同目錄的元數據分配，從而保證負載在多臺元數據服務器上的均勻分配。同時，提供元數據副本機制，根據文件或目錄的流行度，設置相應數量的副本數，以應對熱點數據的突發請求。