[發明專利]一種基于hive的數據老化方法、裝置及設備

在審

• 申請號: 201811346834.2
• 申請日: 2018-11-13
• 公開（公告）號: CN109460411A
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 鄭艷濤;袁益夢;林鋒
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28;G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種基于hive的數據老化方法，其特征在于，包括：

接收到對于hive的數據區的讀寫訪問時，在hive的元數據庫內刷新所述讀寫訪問對應的數據區的訪問時間記錄；

判斷當前是否滿足預設掃描條件；

若滿足所述預設掃描條件，則掃描hive的全部數據區的訪問時間記錄，將訪問時間記錄滿足預設老化條件的數據區作為老化區，并刪除所述老化區的內容。

2.根據權利要求1所述的基于hive的數據老化方法，其特征在于，所述數據區具體為hive的數據表分區。

3.根據權利要求1所述的基于hive的數據老化方法，其特征在于，所述預設掃描條件包括定時時間；所述判斷當前是否滿足預設掃描條件的過程包括：

判斷當前時刻是否滿足所述定時時間，若是，則滿足所述預設掃描條件，否則，不滿足所述預設掃描條件。

4.根據權利要求1所述的基于hive的數據老化方法，其特征在于，所述預設掃描條件包括hive所處的分布式系統的存儲空間的占用率達到預設高載閾值；所述判斷當前是否滿足預設掃描條件的過程包括：

判斷當前hive所處的分布式系統的存儲空間的占用率是否達到預設高載閾值，若是，則滿足所述預設掃描條件，否則，不滿足所述預設掃描條件。

5.根據權利要求1所述的基于hive的數據老化方法，其特征在于，所述預設老化條件包括所述訪問時間記錄距當前時刻超出預設時間閾值。

6.根據權利要求1所述的基于hive的數據老化方法，其特征在于，所述預設老化條件包括所述訪問時間記錄屬于全部訪問時間記錄中距離當前時刻最遠的K個記錄。

7.根據權利要求1-6任一項所述的基于hive的數據老化方法，其特征在于，所述掃描hive的全部數據區的訪問時間記錄，將訪問時間記錄滿足預設老化條件的數據區作為老化區，并刪除所述老化區的內容的過程包括：

依次掃描并判斷當前掃描的訪問時間記錄是否滿足預設老化條件，若滿足所述預設老化條件，則所述當前掃描的訪問時間記錄對應的數據區為老化區，并記錄所述老化區的標識，繼續掃描下一個訪問時間記錄；否則，直接掃描下一個訪問時間記錄，直至全部數據區的訪問時間記錄掃描完畢；

全部數據區的訪問時間記錄掃描完畢后，統一刪除記錄的全部標識對應的老化區的內容。

8.一種基于hive的數據老化裝置，其特征在于，包括：

時間記錄模塊，用于接收到對于hive的數據區的讀寫訪問時，在hive的元數據庫內刷新所述讀寫訪問對應的數據區的訪問時間記錄；

掃描判斷模塊，用于判斷當前是否滿足預設掃描條件，若滿足所述預設掃描條件，觸發老化判斷模塊；

所述老化判斷模塊，用于掃描hive的全部數據區的訪問時間記錄，將訪問時間記錄滿足預設老化條件的數據區作為老化區，并刪除所述老化區的內容。

9.一種基于hive的數據老化設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至7任一項所述的基于hive的數據老化方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述的基于hive的數據老化方法的步驟。