[發明專利]一種智能哈希數據布局方法、集群存儲系統及其方法

有效

• 申請號: 201210287274.4
• 申請日: 2012-08-13
• 公開（公告）號: CN102855294A
• 公開（公告）日: 2013-01-02
• 發明（設計）人: 劉愛貴
• 申請（專利權）人: 北京聯創信安科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 胡彬

技術領域

本發明涉及數據存儲技術領域，尤其涉及一種智能哈希數據布局方法、集群存儲系統及其方法。

背景技術

云存儲和大數據背景下，數據呈現爆炸式增長趨勢。根據研究顯示，2020年數字宇宙將達到35.2ZB，比2009年的0.8ZB猛增44倍，這其中80%以上為非結構化數據。高性能計算、醫學影像、石油和天然氣勘探、數字媒體和社會化WEB等大量數據密集型應用導致數據的井噴，不斷對存儲方法提出新的嚴峻挑戰。集群存儲是一種橫向擴展（Scale-out）存儲架構，具有容量和性能線性擴展的優勢，已經得到全球市場的廣泛認可。集群存儲技術其中涉及兩大關鍵問題，即元數據管理和數據布局，這兩者直接決定著系統的擴展性、性能和可靠性等特性。

集群存儲現有技術方案主要是采用專用元數據服務來管理元數據，數據布局信息也保存在元數據服務器上。集中式或分布式元數據管理存在性能瓶頸、單點故障、數據一致性等一系列相關問題，直接影響到系統性能和擴展性。數據布局方式主要采用條帶(Stripe)、鏡像(Mirror)、哈希(Hash)、一致性哈希(DHT)等方式，它們普通存在的問題是可擴展性不高，當集群規模擴展時大量數據需要遷移并重新分布。其中，哈希和一致性哈希還存在數據分布不均衡的問題。另外，不同數據布局方式在性能、可用性和擴展性方面有不同表現，而在特定集群存儲工程實現中往往只會采用單一或兩種簡單組合的方式，適用的數據負載有限，降低了集群存儲系統的應用范圍。

集群（Cluster）是由多個節點構成的一種松散耦合的節點集合，協同起來對外提供服務。集群主要分為高性能集群HPC(High?Performance?Cluster)、高可用集群HAC(High?Availablity?Cluster)和負載均衡集群LBC(Load?Balancing?Cluster)。集群存儲系統是指協同多個節點提供高性能、高可用或負載均衡的存儲服務系統，消除單點故障和性能瓶問題，并且具有Scale-Out橫向高擴展能力，實現容量和性能線性擴展。集群存儲技術其中涉及兩大關鍵問題，即元數據管理和數據布局，這兩者直接決定著系統的擴展性、性能和可靠性等特性。集群存儲現有技術方案主要是采用專用元數據服務來存儲和管理數據布局信息，數據布局方式主要采用條帶(Stripe)、鏡像(Mirror)、哈希(Hash)、一致性哈希(DHT)等方式。

基于元數據服務的數據布局管理模型如圖1所示，元數據服務器記錄存儲服務器集群信息和數據布局信息，并進行數據布局管理。該模型下，請求數據前需要向元數據服務請求數據布局信息，讀數據直接返回對應的布局信息，寫新數據需要為其分配布局信息，更新或追加數據可能需要修改布局信息。這些都由元數據服務處理，之后把數據布局信息返回給存儲客戶端。客戶端獲取到數據對應的布局信息，即可確定數據位于存儲服務器集群的具體位置，然后直接向相關存儲服務器請求數據并處理響應，這個過程是可以并發進行的。不難發現，數據布局管理依賴于元數據服務器，集中式元數據服務模型存在性能瓶頸和單點故障問題，分布式元數據服務模型解決了上述兩個問題，但同時引入了設計復雜性、性能開銷和元數據同步一致性等問題，這些問題直接影響到系統性能和擴展性。