[發明專利]一種面向冷熱數據的分級存儲系統及方法

有效

• 申請號: 202110476035.2
• 申請日: 2021-04-29
• 公開（公告）號: CN112948398B
• 公開（公告）日: 2023-02-24
• 發明（設計）人: 范淑煥;侯孟書;許佳欣;李玉軍;周世杰
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/21;G06F3/06
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

1.一種面向冷熱數據的分級存儲系統，其特征在于，包括數據采集模塊、冷熱數據判定模塊和冷熱數據遷移模塊；其中：

數據采集模塊用于利用系統前端采集用戶輸入的數據，即數據訪問請求，并將數據訪問請求發送至系統后臺進行溫度判定；

冷熱數據判定模塊用于分析數據訪問請求同時根據分析出的溫度計算相關信息對數據的溫度進行計算，并將溫度計算相關信息和計算出的溫度信息更新并重新封裝至原始數據；

冷熱數據遷移模塊用于對熱庫中的數據進行監控，將不符合熱庫中兩個設定閾值的熱數據遷移到冷庫中，并根據數據訪問特征動態調整設定閾值；其中，兩個設定閾值分別為高水位閾值和低水位閾值；

所述冷熱數據遷移模塊對熱庫中的數據進行監控，將不符合熱庫中兩個設定閾值的熱數據遷移到冷庫中，包括：冷熱數據遷移模塊采用高低水位法對熱數據庫進行飽和度監控，當熱庫數據量達到設定的高水位閾值后，按照數據溫度的大小將熱數據庫中數據以數據溫度從小到大的順序進行排序，將超過低水位閾值的數據遷移至冷庫中進行存儲；

所述根據數據訪問特征動態調整設定閾值包括：在每次執行數據遷移時，對熱數據庫中數據溫度進行記錄及均勻采樣，識別被遷移部分數據溫度的分布情況，理想情況下的數據溫度采樣應服從正態分布。

2.根據權利要求1所述的一種面向冷熱數據的分級存儲系統，其特征在于，所述冷熱數據判定模塊根據溫度計算相關信息對數據的溫度進行計算過程具體包括：先讀取數據訪問請求，然后根據數據訪問讀取數據key；再根據key獲取溫度計算相關信息，溫度計算相關信息包括數據包含的時間戳、關聯數據以及原有溫度信息；利用溫度計算相關信息并結合推導出的牛頓冷卻定律公式計算出該數據當前數據溫度，并更新其關聯數據溫度。

3.根據權利要求2所述的一種面向冷熱數據的分級存儲系統，其特征在于，所述冷熱數據判定模塊還可以根據對用戶輸入數據的數據庫操作，來對數據溫度進行調整，調整過程具體包括：

當發生數據插入操作時，直接將溫度上升變量W作為數據插入的初始溫度值；

當某數據被修改或訪問時，先將其原有溫度根據訪問間隔時間進行冷卻后，再進行一次升溫得到最新的溫度值，將最新的溫度值加上溫度上升變量W獲得最終的數據溫度，將數據溫度作為數據被修改或訪問時的溫度值；

當某數據被刪除時，則該數據自身溫度置0，并同時根據數據關聯性溫度計算公式計算出該數據的關聯數據溫度，并更新關聯數據的數據溫度。

4.根據權利要求1所述的一種面向冷熱數據的分級存儲系統，其特征在于，還包括數據手動觸發遷移過程，當熱數據庫長期未接受訪問，以及數據庫或業務終止時，將熱庫中的所有數據完全同步進行遷移冷庫中。

5.一種基于權利要求1~4任意一項所述分級存儲系統的分級存儲方法，其特征在于，包括以下步驟：

步驟一：數據采集，利用系統前端采集用戶輸入的數據，即數據訪問請求，并將數據訪問請求發送至系統后臺進行溫度判定；

步驟二：冷熱數據判定，分析數據訪問請求同時根據分析出的溫度計算相關信息對數據的溫度進行計算，并將溫度計算相關信息和計算出的溫度信息更新并重新封裝至原始數據；

步驟三：冷熱數據遷移，分別將原始數據中的冷數據和熱數據存儲到對應的冷庫和熱庫中；并對熱庫中的數據進行監控，將不符合熱庫中兩個設定閾值的熱數據遷移到冷庫中。