[發明專利]一種數據分布式存儲方法及系統

有效

• 申請號: 201611184440.2
• 申請日: 2016-12-20
• 公開（公告）號: CN108205573B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 秦長鵬;牛克強
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;H04L67/1097;G06F16/21;G06F9/50;G06F3/06
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 姜春咸;馮建基

本發明公開了一種數據分布式存儲方法及系統，涉及IT基礎架構中的存儲技術領域，所述方法包括：通過把存儲系統配置成多個存儲分區，將所述存儲系統中所有參與數據存儲的節點分別配置到相應的存儲分區中；每個存儲分區中的所有節點通過共享分區內的硬盤，實現數據在存儲分區內的存儲；所述存儲系統中的所有存儲分區通過互連，確定各存儲分區的存儲能力，并根據所確定的存儲分區的存儲能力，啟動存儲分區間的數據遷移操作。本發明實施例既具備share?nothing架構高可擴展能力，又能夠消除share?nothing架構的網絡瓶頸。

技術領域

本發明涉及信息技術(Information?Technology，IT)基礎架構中的存儲技術領域，特別涉及一種數據分布式存儲方法及系統。

背景技術

1.存儲集群架構分析

推動著存儲系統發展的力量主要來自于兩方面，一方面是對于存儲系統的容量、性能和數據管理能力的越來越高的需求，另一方面是計算機基礎軟硬件的發展。

最早的服務器節點只使用本地存儲介質保存數據，此時的本地存儲容量和性能非常有限，獨立于服務器的外置存儲設備應運而生，很大程度上解決了容量和性能以及數據共享問題。

外置存儲產品主要是以提供存儲區域網絡(Storage?Area?Network，SAN)和網絡連接存儲(Network?Attached?Storage，NAS)兩種服務接口的磁陣設備，服務器通過存儲網絡訪問存儲設備。在近三十年的發展歷程中，外置存儲不斷發展，以滿足更大容量，更高性能以及更完善的數據管理需求。外置存儲的架構也從單控，雙控發展到多控集群。

隨著存儲介質的集成度越來越高，當前單個服務器節點可以輕松集成上百TB(Terabyte)的存儲容量；固態硬盤(Solid?State?Drive，SSD)的使用使得單個服務器節點可以很容易達到每秒幾十萬讀寫操作(Input/Output?Operations?Per?Second，IOPS)的存儲性能；各類高性能互聯(例如無限帶寬技術(Infiniband，IB)，萬兆以太網(10GigabitEthernet，10GE)，通用串行互連(PCI?Express，PCIe)等)發展使得節點間的通訊帶寬大大提升，時延大大減小。在這些技術發展背景下，基于服務器本地存儲的分布式存儲架構開始挑戰外置存儲市場。

從實施架構上，多控集群SAN/NAS以及分布式存儲都屬于存儲集群系統，通過多個節點間的協作完成資源管理，對外體現為邏輯上的單個存儲服務實體。集群的架構主要有以下幾種類型：共享內存(share?memory)，共享硬盤(share?disk)，無共享(sharenothing)。

圖1是現有技術提供的share?memory的集群架構示意圖，share?memory架構中，集群中每節點各自有獨立的中央處理器(Central?Processing?Unit，CPU)，集群各節點間共享一個全局編址的內存池(Memory?Pool)，所有的數據讀寫訪問都通過這個內存池，整體數據路徑較短，性能較好，但節點間耦合非常緊密，高頻的內存鎖操作要求節點間通訊時延必須非常低，導致集群水平擴展能力很弱。

圖2是現有技術提供的share?disk的集群架構第一示意圖,圖3是現有技術提供的share?disk的集群架構第二示意圖,如圖2和圖3所示，share?disk架構中，集群中每節點各自有獨立的CPU和內存，集群各節點物理上都可以訪問所有的硬盤。節點和硬盤一般有兩種對應方式：一種方式是如圖2所示的單個硬盤只歸屬于集群中一個節點，該方式正常時節點只管理和訪問部分硬盤，在該硬盤的歸屬節點故障退出服務后，由集群中其他節點來接管該硬盤；另一種方式是如圖3所示的硬盤不歸屬于單個節點，該方式所有節點可以訪問所有硬盤，即所有節點都可以同時訪問，使用分布式鎖來實現多個節點對硬盤的訪問互斥。前者節點間耦合較低，但節點間可能存在數據轉發；后者節點間耦合較高，節點間數據不用轉發，但節點間控制(鎖，緩存控制等)交互較多。share?disk架構硬件方面擴展規模有限，極少看到超過16個以上節點的共享硬盤架構集群。