[發明專利]一種格式化HBase數據的方法

有效

• 申請號: 201910588013.8
• 申請日: 2019-07-01
• 公開（公告）號: CN110287172B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 李燁
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25;G06F16/27
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 徐金瓊

本發明公開了一種格式化HBase數據的方法，屬于數據格式化領域，解決現有技術進行化HBase數據格式化，其操作較為繁瑣，耗時較長的問題。本發明停止HBase集群的所有服務，同時保持HBase集群依賴的Zookeeper和Hadoop仍處于正常運行狀態；在HBase集群上先刪除Zookeeper上存儲HBase元數據的根節點及根節點下包含的所有子節點，在HBase集群上刪除Hadoop上存儲HBase數據的根目錄及根目錄下包含的所有子目錄；刪除后，啟動HBase集群的所有服務，得到初始狀態的HBase。本發明用于快速格式化HBase數據。

技術領域

一種格式化HBase數據的方法，用于快速格式化HBase數據，屬于數據格式化領域。

背景技術

數據格式化指刪除系統中的全部數據和元數據，將系統還原到初始狀態。當系統中的數據不再有用，或者系統狀態異常時，通過執行數據格式化，可以快速使系統恢復到干凈的可用的狀態。

Zookeeper：ZooKeeper是一個分布式的，開放源碼的分布式應用程序協調服務，是Google的Chubby一個開源的實現，是Hadoop和HBase依賴的重要組件，目前是Apache社區的頂級開源項目。它是一個為分布式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分布式同步、組服務等。

Hadoop：Hadoop包含一個分布式文件系統HDFS和分布式計算框架MapReduce，目前是Apache社區的頂級項目。Hadoop具有高容錯性的特點，并且設計用來部署在低廉的硬件上，而且它提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集的應用程序。

HBase是非常流行的一個分布式的、面向列的NoSQL數據庫，是Apache社區的頂級開源項目，其應用場景主要是海量數據的存儲和高并發條件下固定條件的檢索。在開發測試環境，當HBase中的數據不再有用，或HBase狀態異常時，通過對HBase數據執行格式化，可以快速得到一個初始狀態的HBase，即沒有任何數據的HBase。HBase的運行依賴于Zookeeper和Hadoop，其元數據存儲在Zookeeper上，數據存儲在Hadoop上。HBase本身沒有提供格式化的方法或工具，在公開的專利中沒有檢索到關于格式化HBase的專利，在互聯網上也沒有類似本文描述的格式化HBase的方法的詳細介紹。容易想到的一種能實現相同目的的解決方案是，卸載原HBase集群，即需要刪除HBase所有數據、元數據、軟件包、配置文件等，重新搭建一套全新的HBase集群(需要在HBase集群每個節點重新安裝軟件包、重新設置配置文件)，但這種方法操作較為繁瑣，耗時較長。

發明內容

針對上述研究的問題，本發明的目的在于提供一種格式化HBase數據的方法，解決現有技術中通過卸載原HBase集群，重新搭建一套全新的HBase集群來進行化HBase數據格式化，其操作較為繁瑣，耗時較長的問題。

為了達到上述目的，本發明采用如下技術方案：

一種格式化HBase數據的方法，如下步驟：

S1、停止HBase集群的所有服務，同時保持HBase集群依賴的Zookeeper和Hadoop仍處于正常運行狀態；

S2、執行步驟S1后，在HBase集群上先刪除Zookeeper上存儲HBase元數據的根節點及根節點下包含的所有子節點，再在HBase集群上刪除Hadoop上存儲HBase數據的根目錄及根目錄下包含的所有子目錄；或在HBase集群上先刪除Hadoop上存儲HBase數據的根目錄及根目錄下包含的所有子目錄，再在HBase集群上刪除Zookeeper上存儲HBase元數據的根節點及根節點下包含的所有子節點；或在HBase集群上先刪除Zookeeper上存儲HBase元數據的根節點及根節點下包含的所有子節點，同時在HBase集群上刪除Hadoop上存儲HBase數據的根目錄及根目錄下包含的所有子目錄；