[發明專利]一種批量合并hbase表regions的方法

在審

• 申請號: 201410427005.2
• 申請日: 2014-08-27
• 公開（公告）號: CN104199901A
• 公開（公告）日: 2014-12-10
• 發明（設計）人: 范瑩;于治樓;梁華勇
• 申請（專利權）人: 浪潮集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/44
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及大數據技術領域,具體地說是一種批量合并hbase表regions的方法。

背景技術

HBase是一個分布式的、面向列的開源數據庫，是hadoop集群的最常見數據庫，適合于非結構化、海量數據的存儲。HBase能夠方便的擴展列族和列，以增加存儲信息；也可以方便的橫向擴展節點，以增加計算和存儲能力。這種便利也帶來一些問題，最常見的就是初始設置region?size過小，或者對某個表的region預分規則不恰當，出現空region、小region、split過于頻繁，以及打開文件數超出系統上限等問題，影響進程運行效率，嚴重時會導致系統崩潰。為解決這寫問題，就必須要對region進行merge操作。但是HBase提供的merge命令一次只能對兩個region進行合并，這對已存在TB級數據的HBase是很難手工進行的。

發明內容

本發明針對現有技術存在的不足之處，提供了一種對列式數據庫hbase的regions進行批量合并的方法。

本發明所述一種批量合并hbase表regions的方法，解決上述技術問題采用的技術方案如下：所述批量合并hbase表regions的方法，首先獲取hbase表的region?name列表，然后修改hbase腳本，最后執行根據region?name列表對region進行合并的腳本merge.sh，進行合并regions的腳本merge.sh，以完成批量合并hbase表的regions。

通過第一步獲取hbase表的region?name列表，實現導出各個hbase表的regions的名稱列表，保存為與表名同名的文本文件，供下一步合并使用；

通過第二步修改hbase腳本，添加配置文件路徑；

通過第三步執行腳本merge.sh，merge.sh腳本輪詢每個regions的名稱列表，將兩個相鄰region進行merge（合并），達到批量合并的目的。

本發明所述一種批量合并hbase表regions的方法與現有技術對比具有的有益效果：該批量合并hbase表regions的方法在大數據平臺基礎上，將hbase表的大量regions(分區)進行批量合并，解決因預分規則不恰當或初始region?size過小而導致的空region、小region、split過于頻繁，以及打開文件數過多等問題，避免因region?size過小或regions數過多造成的系統崩潰和應用程序效率低，提高了系統性能，有效解決了hbase表加載異常的問題。

附圖說明

附圖1為本實施例所述安全云存儲層的結構框圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚明白，下文中將結合附圖對本發明的一種批量合并hbase表regions的方法進行詳細說明。

?本發明所述一種批量合并hbase表regions的方法，主要包括三個步驟:?第一步是獲取hbase表的region?name列表；第二步，修改hbase腳本；第三步是執行腳本merge.sh；

通過第一步，實現導出各個hbase表的regions的名稱列表，保存為與表名同名的文本文件，供下一步合并使用；

通過第二步修改hbase腳本，添加配置文件路徑；

通過第三步執行腳本merge.sh，merge.sh腳本輪詢每個regions的名稱列表，將兩個相鄰region進行merge，達到批量合并的目的。

實施例：

下面通過一個實施例，對本發明所述一種批量合并hbase表regions的方法的優點和設計內容，進行詳細說明。

本實施例所述批量合并hbase表regions的方法，首先獲取hbase表的region?name列表，然后修改hbase腳本，最后執行根據region?name列表對region進行合并的腳本merge.sh，進行合并regions的腳本merge.sh，以完成批量合并hbase表的regions。