[發明專利]一種磁盤陣列橫向拓展方法

有效

• 申請號: 201910343799.7
• 申請日: 2019-04-26
• 公開（公告）號: CN110058822B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 徐晗
• 申請（專利權）人: 北京計算機技術及應用研究所
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F12/02
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 張然

本發明涉及一種磁盤陣列橫向拓展方法，其中，包括：存儲系統在物理層面將磁盤陣列的存儲資源劃分為數據區塊、副本池和陣列節點，將陣列節點的磁盤劃分為多個數據區塊，數據區塊均勻分布在存儲池的所有副本池上；多個固定長度的數據區塊組成一個邏輯卷，將所有盤陣中的副本池組織成一個統一的邏輯資源池，通過對象存儲協議將邏輯卷映射到客戶端，將物理磁盤劃分成大小統一的數據區塊，多個數據區塊組成副本池，副本池的集合構成統一的存儲資源池；將所有副本池的地址空間分區并統一編址后映射到哈希環上，每個存儲單元分區負責一個特定范圍內的地址空間路由以及相應的數據存儲，當客戶端對區塊上的數據進行讀寫時，通過哈希運算查詢區塊的存儲地址。

技術領域

本發明涉及數據存儲技術，特別涉及一種磁盤陣列橫向拓展方法。

背景技術

隨著大數據時代的到來，企業產生的數據日益增多，數據往往呈現指數級別的增長，企業對數據存儲的需求也越來越大，而傳統存儲系統受限于前端控制器的擴展能力，存儲容量有限，傳統存儲系統支持“scale up”--向上擴展，最為低端的磁盤陣列有單控制器的配置，稍微復雜一點的存儲系統一般都是雙控制器配置，而后端的磁盤數量還可以不斷擴展。但總體來說，都是在一個固定的存儲系統架構上去升級擴展，是當擴展到一定程度，就很難繼續擴展下去，尤其是前端控制器的數量。也因此導致了當后端磁盤不斷增多，而前端控制器無法擴展的情況下產生的性能瓶頸，因此當再需要添加存儲容量時，往往需要停機更換容量更大的存儲系統，進行數據遷移等動作，這往往會造成服務中斷。而且磁盤陣列存儲系統適用范圍非常有限，功能較為單一，所以最終會造成存在大量存儲系統、存儲孤島、孤立的容量和更大的管理復雜性等問題。

為了解決磁盤陣列擴展能力受限，停機擴容會導致業務數據存儲服務中斷，性能瓶頸的問題，需要設計一種多磁盤陣列橫向拓展方案，當存儲系統中盤陣容量存儲達到一定得上限時，可以無縫添加新的磁盤陣列作為存儲節點，確保系統不中斷地向客戶端提供存儲數據存儲服務，解決單點性能瓶頸。而由于數據是按照特定的哈希函數存儲在相應陣列節點中，當新的陣列加入時，往往會由于哈希值的變動帶來大量的集群內數據遷移，這會導致網絡負載的增大，影響存儲系統的性能。所以需要設計高效可靠的橫向拓展方案，設計合理的數據分布策略，確保數據的均勻分布。

中國專利“CN104484130A一種橫向拓展存儲系統系統的構建方法”，此專利按節點對存儲系統中的所有塊設備進行劃分，通過網絡RAID算法或者糾刪碼技術對所有的塊設備進行整合，構成統一的存儲池，可選擇強一致性策略和弱一致性策略將寫入數據，可支持動態添加緩存SSD，緩存寫入方式支持回寫、通寫，預熱讀策略。可以通過增加節點對系統容量、數據和吞吐能力進行橫向擴展。

中國專利“CN104484130A一種橫向拓展存儲系統系統的構建方法”所述的橫向拓展方案在存儲系統容量不足時，雖然可以通過添加硬盤或者固態硬盤來擴充存儲系統的容量，但是當需要通過增加節點來擴容時，由于該專利所述方法采用的是將各個節點存儲空間通過raid算法或者糾刪碼技術合為一個統一的存儲池，在增加新節點后需要重新構建raid或者重新計算糾刪碼，這必然會帶來數據的大量遷移和計算資源的緊缺從而使得存儲系統負載增加。

發明內容

本發明一種磁盤陣列橫向拓展方法，用于解決現有盤陣橫向拓展能力不強，分布式存儲保證數據一致性能力較弱的問題。

本發明一種磁盤陣列橫向拓展方法，其中，包括：存儲系統在物理層面將磁盤陣列的存儲資源劃分為數據區塊、副本池和陣列節點，將陣列節點的磁盤劃分為多個數據區塊，數據區塊均勻分布在存儲池的所有副本池上；多個固定長度的數據區塊組成一個邏輯卷，將所有盤陣中的副本池組織成一個統一的邏輯資源池，通過對象存儲協議將邏輯卷映射到客戶端，將物理磁盤劃分成大小統一的數據區塊，多個數據區塊組成副本池，副本池的集合構成統一的存儲資源池；將所有副本池的地址空間分區并統一編址后映射到哈希環上，每個存儲單元分區負責一個特定范圍內的地址空間路由以及相應的數據存儲，當客戶端對區塊上的數據進行讀寫時，通過哈希運算查詢區塊的存儲地址；新增陣列節點時，創建新數據塊時將采用新的哈希環進行數據定位和訪問。