[發明專利]一種適用于熱數據存儲的方法、設備及介質

在審

• 申請號: 202110976878.9
• 申請日: 2021-08-24
• 公開（公告）號: CN113867623A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 李巍
• 申請（專利權）人: 上海上訊信息技術股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇

本申請提供一種適用于熱數據緩存的方法、設備及介質。通過區分數據操作請求的類型，將數據寫入操作中要寫入的數據標記為最熱的數據存在第一數據表，避免占用存儲熱數據的第二數據表。當判斷數據操作請求為數據查詢操作時，在第二數據表中查詢此數據，找到后將其標記為最熱的數據。若未找到此數據則到第一數據表中查詢，找到后將此數據標記為最熱的數據并添加到第二數據表中。這樣做既避免了新寫入的數據對熱數據表的污染，也使得熱數據可以充分使用存儲資源，其形式簡潔，最大程度的降低了冷數據對存儲資源的占用，使熱數據不會因為大量冷數據的寫入而丟失，增強了對熱數據的管理效果的同時也間接的提高了調用熱數據的效率。

技術領域

本申請涉及計算機領域，尤其是針對熱數據進行存儲的方法。

背景技術

在現有技術中，為了增加對常用數據調用的效率，時常需要將常用數據作為熱數據進行存儲管理，針對熱數據的存儲需要專門的存儲方法。現有技術對熱數據的管理模式基本為：將常用數據都存儲在一個集合中，通過對數據的使用頻率來標識各數據的熱度并更替維護，新的數據直接加入到熱數據的集合中，與熱數據共同更替維護。當有限的存儲空間存滿數據時，再將最久沒有被使用的數據淘汰。

現有技術中針對上述方案的實現方法有兩種：

第一種是使用鏈表來實現。采用鏈表的形式存儲數據，當需要在鏈表中寫入新數據或者查詢某些數據時，將需要寫入或者查詢的數據移動到鏈表的頭部，在每次新寫入數據或者查詢某些數據都如此執行，循環更替，這樣就實現了鏈表內存儲的數據按照熱度進行排列，熱度由表頭至表尾依次遞減。當鏈表存儲滿且還要寫入新數據時，將鏈表尾部的數據丟棄。

第二種是使用數組來存儲數據，給每一個數據項附加一個時間戳。當新數據寫入時，將新數據的時間戳設置為0，數組中存儲的其他數據的時間戳自增。在每次查詢數據時，都將被查詢的數據時間戳設置為0，再將其他數據的時間戳自增，當存儲空間滿時候，丟棄掉時間戳最大的數據。

上述兩項方法都是將新數據作為熱數據進行管理，將新數據寫入熱數據表或數組與其他熱數據一起進行更替，但在新數據剛被寫入時，并不能分辨此數據是否是熱數據，如果新數據是冷數據，通過上述方法雖然可以將此數據逐漸淘汰出熱數據表或數組，但可能會導致熱數據表或數組的儲存效率不高。

在第一種方法中，若新數據僅是被寫入一次，那么將此數據加入到熱數據鏈表中會造成鏈表尾部的數據被淘汰，此時被淘汰的數據熱度可能還高于新數據。如果有大量的冷數據被寫入鏈表則會大量占用鏈表的存儲空間，使鏈表內大部分的有效熱數據被淘汰出鏈表，這將導致鏈表工作效率不高，對熱數據的存儲效果差。

同樣，在第二種方法中也會造成大量具有較低時間戳數值的冷數據淘汰具有較高時間戳數值的熱數據。

所以，在現有技術中將新數據直接作為熱數據進行更替會造成過多的冷數據占用熱數據有限的存儲空間，極大地浪費了熱數據的存儲資源。這就是冷數據對熱數據存儲的污染，這種污染使得熱數據不能充分使用存儲資源，造成對熱數據的管理效果不佳。對熱數據的管理不佳會間接的導致調用熱數據的效率低下。

發明內容

本申請的一個目的是提供一種存儲方法，用以解決現有技術中新數據對熱數據存儲資源的污染和占用，以及在有限的存儲資源下更好的管理熱數據，從而間接的提高調用熱數據的效率。

為實現上述目的，本申請提供了一種熱數據存儲方法，其特征在于，包括：

獲取數據操作請求，并對所述數據操作請求的類型進行判斷；

若所述數據操作請求的類型為數據寫入操作，則在第一數據表中寫入所述數據寫入操作對應的第一數據，并設置所述第一數據表中數據的保留優先級，以使所述第一數據的保留優先級最高，所述保留優先級與所述數據的最新操作時間負相關，當第一數據表滿足刪除條件時優先刪除保留優先級低的數據；