[發明專利]一種防止HBase中數據誤刪除的方法及系統

有效

• 申請號: 201510796233.1
• 申請日: 2015-11-18
• 公開（公告）號: CN105243340B
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 房體盈
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F21/64
• 分類號: G06F21/64;G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種防止HBase中數據誤刪除的方法，包括：根據用戶操作在HDFS目錄下設定存儲被刪除的數據文件的存儲文件；設定監控的時間周期，按照所述時間周期，監控Hbase在HDFS目錄下的緩存文件夾是否有新增的數據文件；若是，則將新增的所述數據文件存儲到所述存儲文件下；該方法能夠防止HBase中數據誤刪除；本發明還公開了一種防止HBase中數據誤刪除的系統。

技術領域

本發明涉及數據安全技術領域，特別涉及一種防止HBase中數據誤刪除的方法及系統。

背景技術

HBase是一個分布式的、面向列的開源數據庫，HBase中的所有數據文件都存儲在Hadoop的分布式文件系統HDFS上。HBase支持數據節點的橫向擴展，存儲量也會依賴于節點的數量。在生產環境中，HBase表的數據量一般都比較大，誤刪恢復成本比較大。雖然Hadoop的分布式文件系統HDFS有回收站策略，但是對于Hbase的表數據不生效。

一旦做出刪除Hbase表的操作之后，Hbase的元數據首先會被刪除，然后各個region(數據分區)的數據會被移動到一個叫“archive”的文件夾中，最后Hbase數據的master主線程會在5分鐘之后對archive中的數據進行清除。有時候Hbase的使用者做出刪除操作之后，并不一定在短時間內認識到數據表已經被刪除，當5分鐘之后，數據就徹底不能恢復了。因此，如何防止Hbase表誤刪除，是本領域技術人員需要解決的技術問題。

發明內容

本發明的目的是提供一種防止HBase中數據誤刪除的方法及系統，能夠防止HBase中數據誤刪除，保證HBase中數據完整性。

為解決上述技術問題，本發明提供一種防止HBase中數據誤刪除的方法，包括：

根據用戶操作在HDFS目錄下設定存儲被刪除的數據文件的存儲文件；

設定監控的時間周期，按照所述時間周期，監控Hbase在HDFS目錄下的緩存文件夾是否有新增的數據文件；

若有，則將新增的所述數據文件存儲到所述存儲文件下。

其中，所述設定監控的時間周期，按照所述時間周期，監控Hbase在HDFS目錄下的緩存文件夾是否有新增的數據文件，包括：

在定時啟動腳本中添加掃描監控緩存文件夾程序，并設定定時啟動所述掃描監控緩存文件夾程序的時間周期；

調用所述啟動腳本，按照所述時間周期掃描所述緩存文件夾是否有新增的數據文件。

其中，所述將新增的所述數據文件存儲到所述存儲文件下包括：

將新增的所述數據文件移動到所述存儲文件下。

其中，當用戶出現HBase中數據誤刪除時，還包括：

在所述存儲文件中確定誤刪除的數據文件，并將誤刪除的所述數據文件移動到Hbase在HDFS中相對應的數據目錄下；

調用所述Hbase的元數據修復命令對元數據進行修復。

其中，還包括：

當所述存儲文件中存儲的數據文件的存儲空間大于閾值時，提醒用戶對所述存儲文件中存儲的數據文件進行清理。

本發明提供一種防止HBase中數據誤刪除的系統，包括：

存儲模塊，用于根據用戶操作在HDFS目錄下設定存儲被刪除的數據文件的存儲文件；

監控模塊，用于設定監控的時間周期，按照所述時間周期，監控Hbase在HDFS目錄下的緩存文件夾是否有新增的數據文件；

若有，則觸發存儲模塊將新增的所述數據文件存儲到所述存儲文件下。