[發(fā)明專利]分布式存儲系統(tǒng)及管理元數(shù)據(jù)的方法

有效

• 申請?zhí)枺?/td>: 201580070472.7
• 申請日: 2015-12-31
• 公開（公告）號: CN107211003B
• 公開（公告）日: 2020-07-14
• 發(fā)明（設計）人: 謝會云;陳鐘平
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 北京龍雙利達知識產(chǎn)權代理有限公司 11329
• 代理人: 毛威;肖鸝

本發(fā)明提供一種分布式存儲系統(tǒng)和管理元數(shù)據(jù)的方法，該分布式存儲系統(tǒng)包括：元數(shù)據(jù)庫、多個元數(shù)據(jù)控制器MDC和多個資源池；該元數(shù)據(jù)庫，用于存儲與該多個資源池相對應的元數(shù)據(jù)；該多個MDC中的主MDC，用于管理該元數(shù)據(jù)庫中存儲的該多個MDC中的備MDC與資源池之間的映射關系；該多個MDC中的備MDC，用于管理該元數(shù)據(jù)庫中存儲的與該備MDC具有映射關系的資源池對應的元數(shù)據(jù)。因此，本發(fā)明實施例的分布式存儲系統(tǒng)能夠管理更大規(guī)模的存儲集群，實現(xiàn)故障域隔離。

技術領域

本發(fā)明實施例涉及計算機領域，并且更具體地，涉及分布式存儲系統(tǒng)及管理元數(shù)據(jù)的方法。

背景技術

典型的分布式存儲系統(tǒng)的基本架構包括Zookeeper(ZK)集群、元數(shù)據(jù)控制器(Metadata Controller，簡稱為“MDC”)集群、資源池(Pool)和客戶端(Client)集群。其中，MDC集群采用一主多備的方式部署，主MDC負責元數(shù)據(jù)的計算、讀寫、Pool故障處理等業(yè)務。ZK集群中的元數(shù)據(jù)存儲節(jié)點分為數(shù)據(jù)(Data)節(jié)點和臨時(Ephemeral)節(jié)點，Data節(jié)點下的數(shù)據(jù)由主MDC修改，其他MDC可以讀取，Ephemeral節(jié)點包括主臨時節(jié)點和備臨時節(jié)點，主臨時節(jié)點中存儲主MDC的標識信息，每個備臨時節(jié)點存儲一個備MDC的標識信息，主MDC監(jiān)控備臨時節(jié)點，來判定備MDC狀態(tài)是否正常，備MDC監(jiān)控主臨時節(jié)點，來判斷主MDC的狀態(tài)是否正常。一旦主MDC失效，所有的備MDC將收到ZK事件通知，進入競爭主流程，產(chǎn)生的新的主MDC將從ZK集群中讀取元數(shù)據(jù)，完成初始化后對外提供業(yè)務服務。

由于元數(shù)據(jù)的讀寫都是主MDC處理，只能支持一定規(guī)模的資源池業(yè)務，不支持資源池維度的擴容；備MDC不處理業(yè)務，浪費系統(tǒng)的資源，在主MDC故障且新的主MDC還未提供服務期間，整個分布式存儲系統(tǒng)的業(yè)務都會受到影響，而且現(xiàn)有的分布式存儲系統(tǒng)不能支持元數(shù)據(jù)控制集群的動態(tài)擴減容。

發(fā)明內容

本發(fā)明提供一種分布式存儲系統(tǒng)及管理元數(shù)據(jù)的方法，能夠管理更大規(guī)模的存儲集群，并能夠實現(xiàn)故障域隔離。

第一方面，提供了一種分布式存儲系統(tǒng)，包括：元數(shù)據(jù)庫、多個元數(shù)據(jù)控制器MDC和多個資源池；該元數(shù)據(jù)庫，用于存儲與該多個資源池相對應的元數(shù)據(jù)；該多個MDC中的主MDC，用于管理該元數(shù)據(jù)庫中存儲的該多個MDC中的備MDC與資源池之間的映射關系；該多個MDC中的備MDC，用于管理該元數(shù)據(jù)庫中存儲的與該備MDC具有映射關系的資源池對應的元數(shù)據(jù)。

本發(fā)明實施例中的分布式存儲系統(tǒng)中的主MDC用于管理MDC與資源池之間的映射關系，備MDC用于管理元素庫中存儲的與該備MDC具有映射關系的資源池對應的元數(shù)據(jù)，包括負責與該備MDC具有映射關系的資源池的元數(shù)據(jù)的計算、讀寫、資源池故障處理等業(yè)務，由此，分布式存儲系統(tǒng)可以管理更大規(guī)模的存儲集群，實現(xiàn)故障域隔離。

結合第一方面，在第一方面的第一種可能的實現(xiàn)方式中，該元數(shù)據(jù)庫中的元數(shù)據(jù)存儲節(jié)點包括公有節(jié)點、私有節(jié)點和臨時節(jié)點；其中，該公有節(jié)點中存儲的元數(shù)據(jù)由該主MDC進行修改；該私有節(jié)點中存儲該多個資源池中每個資源池對應的元數(shù)據(jù)，且該多個資源池中每個資源池對應的元數(shù)據(jù)由管理該資源池的備MDC進行讀取與修改；該臨時節(jié)點中存儲該多個MDC中每個MDC的標識信息。

也就是說，可以在元數(shù)據(jù)庫中建立不同類型的元數(shù)據(jù)存儲節(jié)點來實現(xiàn)主MDC對公有元數(shù)據(jù)的管理，備MDC對與之有映射關系的資源池的元數(shù)據(jù)的管理，以及主MDC與備MDC之間狀態(tài)的相互監(jiān)控。由此，多個MDC中的每個MDC都可以參與元數(shù)據(jù)的管理，可以管理更大的存儲集群，并且每個MDC只管理與之對應的資源池的元數(shù)據(jù)，能夠實現(xiàn)故障域隔離。