[發明專利]一種支持HBase跨多地資源池部署的方法在審
| 申請號: | 202310226412.6 | 申請日: | 2023-03-09 |
| 公開(公告)號: | CN116301917A | 公開(公告)日: | 2023-06-23 |
| 發明(設計)人: | 董昌坤;江峰;魏瑋 | 申請(專利權)人: | 天翼云科技有限公司 |
| 主分類號: | G06F8/60 | 分類號: | G06F8/60;G06F9/50 |
| 代理公司: | 暫無信息 | 代理人: | 暫無信息 |
| 地址: | 100010 北京市東城區青*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 支持 hbase 資源 部署 方法 | ||
1.一種支持HBase跨多地資源池部署的方法,其特征在于,所述方法如下:
將元數據集群劃分為一個或者多個MetaRegion,MetaRegion之間是相互獨立的,沒有交集的,所有MetaRegion構成一個完整的HBase元數據集群。
2.根據權利要求1所述的一種支持HBase跨多地資源池部署的方法,其特征在于,一個所述MetaRegion包含多個HRegionServer,一個所述HRegionServer存在只存在于一個所述MetaRegion中,同樣的,每個所述MetaRegion包含多個DataNode,一個所述DataNode存在且只存在于一個所述MetaRegion中。
3.根據權利要求2所述的一種支持HBase跨多地資源池部署的方法,其特征在于,每個所述MetaRegion中DataNode的數量需要大于等于數據Block所要求的最大副本數,如果只有一個MetaRegion,那么所有的HRegionServer和所有的DataNode都在該MetaRegion中,即為一個常規的HBase元數據集群。
4.根據權利要求3所述的一種支持HBase跨多地資源池部署的方法,其特征在于,一個所述MetaRegion只位于一個資源池,即所述MetaRegion所包含的HRegionServer或者DataNode應屬于同一個資源池。
5.根據權利要求4所述的一種支持HBase跨多地資源池部署的方法,其特征在于,每個所述Region及其所對應數據Block的所有副本都存在于同一個MetaRegion中,不會跨多個MetaRegion。
6.根據權利要求5所述的一種支持HBase跨多地資源池部署的方法,其特征在于,所述Region及其對應Block的所有副本只在其所在的MetaRegion中作負載均衡,故障恢復。
7.根據權利要求6所述的一種支持HBase跨多地資源池部署的方法,其特征在于,在本方法中HMaster根據各個所述MetaRegion的負載情況進行分配Region,Region一旦被分配到某個MetaRegion,該Region的生命周期只在該MetaRegion中維護,Region分裂產生的子Region也會存在于該MetaRegion中。
8.根據權利要求7所述的一種支持HBase跨多地資源池部署的方法,其特征在于,本方法支持在MetaRegion內部對Region自動做負載均衡,支持運維工具手動在不同MetaRegion間對Region做負載均衡,當需要將Region從一個MetaRegion遷移到另一個MetaRegion時則需要將Region對應的所有Block副本一同遷移到該MetaRegion,且清除原來MetaRegion中的數據。
9.根據權利要求8所述的一種支持HBase跨多地資源池部署的方法,其特征在于,同一個所述Region所對應Block的所有副本都存儲在本Region所在MetaRegion的DataNode上,不能存儲到不同的MetaRegion中;副本的恢復和Balance也在同一個MetaRegion中完成,不做全局的副本恢復和Balance。
10.根據權利要求9所述的一種支持HBase跨多地資源池部署的方法,其特征在于,本方法支持兩種集群擴容方式,一種是在現有的MetaRegion中添加HRegionServer節點或DataNode節點;另一種是以MetaRegion為單位進行擴容,增加新的MetaRegion。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于天翼云科技有限公司,未經天翼云科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202310226412.6/1.html,轉載請聲明來源鉆瓜專利網。





