[發明專利]一種數據緩存方法及裝置

在審

• 申請號: 202011630429.0
• 申請日: 2020-12-31
• 公開（公告）號: CN112667530A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 王曉勇;李志剛;盧亮潔
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06F12/123
• 分類號: G06F12/123
• 代理公司: 北京樂知新創知識產權代理事務所(普通合伙) 11734
• 代理人: 周偉

本發明公開了一種數據緩存方法及裝置，首先基于時間線按照查詢粒度對查詢數據進行熱度評估，得到評估結果，所述評估粒度包括時間窗和查詢頻率至少之一；再根據所述評估結果確定對應時間線的待緩存數據；之后存儲所述待緩存數據至緩存空間。

技術領域

本發明涉及數據處理技術，尤其涉及一種數據緩存方法及裝置。

背景技術

目前，緩存實現中的標準的最近最少使用(LRU，Least Recently Used)淘汰算法無法適應時序數據查詢的場景。例如，該LRU淘汰算法對掃描讀模式是沒有抵抗性的。當一次順序讀取大量的數據塊時，這些數據塊就會填滿整個緩存空間，即使這些數據塊只被讀一次。當緩存空間填滿之后，如果想向緩存放入新的數據，那些最近最少被使用的數據將會被淘汰出去。在這種大量順序讀的情況下，緩存將只包含這些新讀的數據，而不是那些真正被經常使用的熱數據。在這些順序讀出的數據僅僅只被使用一次的情況下，從緩存的角度來看，它將被這些無用的數據填滿。

而且，雖然LRU淘汰算法可以根據時間進行數據熱度評估(即緩存那些最近使用的時間線數據)，也可以根據使用頻率進行熱度評估(即緩存那些最頻繁使用的時間線數據)。然而，以上兩種評估方式都不能適應所有的負載。

發明內容

本發明實施例為了解決現有緩存實現中的標準的LRU淘汰算法所存在的上述缺陷，創造性地提供了一種數據緩存方法及裝置。

根據本發明第一方面，提供了一種數據緩存方法，該方法包括：基于時間線按照查詢粒度對查詢數據進行熱度評估，得到評估結果，所述評估粒度包括時間窗和查詢頻率至少之一；根據所述評估結果確定對應時間線的待緩存數據；存儲所述待緩存數據至緩存空間。

根據本發明一實施方式，所述方法還包括：當所述緩存空間達到緩存閾值時，基于數據熱度對已存儲數據進行數據更新。

根據本發明一實施方式，基于數據熱度對已存儲數據進行數據更新，包括：當用于存儲最近最新加入到緩存空間的時間線數據的第一鏈表中被緩存的時間線數據逐漸填滿后，位于所述第一鏈表尾部的時間線數據將被移動到第二鏈表中；當所述第一鏈表中的緩存數據被多次命中后，已命中的數據將被移動到第三鏈表中，所述第三鏈表中數據以命中次數進行排序；當第三鏈表中被緩存的時間線數據逐漸被填滿后，位于所述第三鏈表尾部的時間線數據將被移動到第四鏈表中。

根據本發明一實施方式，所述方法還包括：根據負載優化策略對緩存空間進行優化。

根據本發明一實施方式，所述根據負載優化策略對緩存空間進行優化，包括：當所述存儲空間中用于存儲最近訪問數據的內存空間分配不足時，增加所述第一鏈表的長度；當所述存儲空間中用于存儲最多命中數據的內存空間分配不足時，增加所述第三鏈表的長度。

根據本發明第二方面，又提供了一種數據緩存裝置，所述裝置包括：熱度評估模塊，用于基于時間線按照查詢粒度對查詢數據進行熱度評估，得到評估結果，所述查詢粒度包括時間窗和查詢頻率至少之一；確定模塊，用于根據所述評估結果確定對應時間線的待緩存數據；緩存模塊，用于存儲所述待緩存數據至緩存空間。

根據本發明一實施方式，所述裝置還包括：數據更新模塊，用于當所述緩存空間達到緩存閾值時，基于數據熱度對已存儲數據進行數據更新。

根據本發明一實施方式，所述數據更新模塊，具體用于當用于存儲最近最新加入到緩存空間的時間線數據的第一鏈表中被緩存的時間線數據逐漸填滿后，位于所述第一鏈表尾部的時間線數據將被移動到第二鏈表中；當所述第一鏈表中的緩存數據被多次命中后，已命中的數據將被移動到第三鏈表中，所述第三鏈表中數據以命中次數進行排序；當第三鏈表中被緩存的時間線數據逐漸被填滿后，位于所述第三鏈表尾部的時間線數據將被移動到第四鏈表中。

根據本發明一實施方式，所述裝置還包括：優化模塊，用于根據負載優化策略對緩存空間進行優化。