[發明專利]一種基于hive的數據老化方法、裝置及設備

在審

• 申請號: 201811346834.2
• 申請日: 2018-11-13
• 公開（公告）號: CN109460411A
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 鄭艷濤;袁益夢;林鋒
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28;G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種基于hive的數據老化方法，包括：接收到對于hive的數據區的讀寫訪問時，在hive的元數據庫內刷新讀寫訪問對應的數據區的訪問時間記錄；判斷當前是否滿足預設掃描條件；若滿足預設掃描條件，掃描hive的全部數據區的訪問時間記錄，將訪問時間記錄滿足預設老化條件的數據區作為老化區，并刪除老化區的內容。本發明能夠實現對hive數據區的自動掃描及老化判斷以及老化區的刪除，效率高，且準確性和可靠性更高；本發明的另一目的是提供一種基于上述方法的裝置、設備和計算機可讀存儲介質。

技術領域

本發明涉及數據老化處理技術領域，特別是涉及一種基于hive的數據老化方法。本發明還涉及一種基于hive的數據老化裝置、設備及計算機可讀存儲介質。

背景技術

hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的sql查詢功能，可以將sql語句轉換為分布式計算任務執行。

目前，hive在用于大數據處理時，由于大數據本身具有存儲量巨大的特點，特別是很多實際生產系統中，每日都有大量的新增數據，日益膨脹的數據對系統的存儲資源有巨大的挑戰。當分布式文件系統所依賴的物理磁盤占滿時，不但新增數據無法寫入，并且，原有的數據的計算由于涉及到臨時文件生成的問題需要占用一定的磁盤空間，也導致受到很大的影響。

目前，當存儲空間占滿時，在不能增加硬件資源的情況下，只能通過手動選擇存儲表進行drop(一種刪除操作)來釋放空間，但是對于作為大數據倉庫的分布式文件系統來說，從海量數據表中手工選擇哪些表去drop，不僅篩選比較復雜，并且有可能誤刪還在使用的數據，準確率和可靠性較低。

因此，如何提供一種能夠解決上述問題的基于hive的數據老化方法是本領域技術人員目前需要解決的問題。

發明內容

本發明的目的是提供一種基于hive的數據老化方法，能夠實現對hive數據區的自動掃描及老化判斷以及老化區的刪除，效率高，且準確性和可靠性更高；本發明的另一目的是提供一種基于上述方法的裝置、設備和計算機可讀存儲介質。

為解決上述技術問題，本發明提供了一種基于hive的數據老化方法，包括：

接收到對于hive的數據區的讀寫訪問時，在hive的元數據庫內刷新所述讀寫訪問對應的數據區的訪問時間記錄；

判斷當前是否滿足預設掃描條件；

若滿足所述預設掃描條件，則掃描hive的全部數據區的訪問時間記錄，將訪問時間記錄滿足預設老化條件的數據區作為老化區，并刪除所述老化區的內容。

優選地，所述數據區具體為hive的數據表分區。

優選地，所述預設掃描條件包括定時時間；所述判斷當前是否滿足預設掃描條件的過程包括：

判斷當前時刻是否滿足所述定時時間，若是，則滿足所述預設掃描條件，否則，不滿足所述預設掃描條件。

優選地，所述預設掃描條件包括hive所處的分布式系統的存儲空間的占用率達到預設高載閾值；所述判斷當前是否滿足預設掃描條件的過程包括：

判斷當前hive所處的分布式系統的存儲空間的占用率是否達到預設高載閾值，若是，則滿足所述預設掃描條件，否則，不滿足所述預設掃描條件。

優選地，所述預設老化條件包括所述訪問時間記錄距當前時刻超出預設時間閾值。

優選地，所述預設老化條件包括所述訪問時間記錄屬于全部訪問時間記錄中距離當前時刻最遠的K個記錄。

優選地，所述掃描hive的全部數據區的訪問時間記錄，將訪問時間記錄滿足預設老化條件的數據區作為老化區，并刪除所述老化區的內容的過程包括：