[發明專利]一種基于自適應鎖的緩存淘汰方法和系統

有效

• 申請號: 202110495949.3
• 申請日: 2021-05-07
• 公開（公告）號: CN113093999B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 周成祖;鄢小征;王海濱;王兵;吳文
• 申請（專利權）人: 廈門市美亞柏科信息股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 郭涵煒

本發明給出了一種基于自適應鎖的緩存淘汰方法和系統，包括掃描緩存，獲取緩存數據的信息；響應于緩存數據被訪問，延長所述緩存數據的緩存過期時間，否則，縮減所述緩存過期時間；刪除緩存過期時間小于預設緩存過期時間的緩存數據。該方法和系統可以運用于目前主流的緩存設備和緩存數據庫的數據淘汰策略，甚至也可以用在一個內存的置換策略上，可以及時的釋放緩存空間，提高系統的緩存的可用性，降低緩存雪崩和擊穿現象的出現的概率，能夠有效的避免錯刪和誤續命的操作。

技術領域

本發明涉及緩存數據處理的技術領域，尤其是一種基于自適應鎖的緩存淘汰方法和系統。

背景技術

當今是互聯網蓬勃發展的時代，緩存技術取得了長足的發展，但是限制于硬件設備，高速緩存的硬件不可能無限擴容，而我們的應用隨著數據的累積，也會有大量的數據落入緩存硬件，當瓶頸出現或者緩存量超過閾值以后，不得不采取相應的緩存淘汰策略，以淘汰命中率不是很高或者存儲時間過長的緩存數據，目前的緩存淘汰策略大部分基于LRU(Least Recently Used，最近最少使用)、LFU(Least Frequently Used，最近使用次數最少)、FIFO(定時刪除)和隨機刪除等。

一般情況下，FIFO雖然能夠快速的清理緩存空間，但是無法辨析熱點數據，這對于并發的系統來說，給緩存的更新帶來了極大的挑戰，不適用于性能要求很高的系統；LFU效率要優于LRU，且能夠避免周期性或者偶發性的操作導致緩存命中率下降的問題。但LFU需要記錄數據的歷史訪問記錄，一旦數據訪問模式改變，LFU需要更長時間來適用新的訪問模式，即：LFU存在歷史數據影響將來數據的“緩存污染”效用。而當存在熱點數據時，LRU的效率很好，但偶發性的、周期性的批量操作會導致LRU命中率急劇下降，緩存污染情況比較嚴重。因此應用的行業不同，配置的策略也不盡相同，主要是因為他們各有利弊，不能一概而論。

發明內容

為了解決現有技術中不同的緩存淘汰策略中存在的無法辨析熱點數據、存在緩存污染等一系列的技術問題，本發明提出了一種基于自適應鎖的緩存淘汰方法和系統，以解決上述技術問題。

根據本發明的一個方面，提出了一種基于自適應鎖的緩存淘汰方法，包括：

S1：掃描緩存，獲取緩存數據的信息；

S2：響應于緩存數據被訪問，延長緩存數據的緩存過期時間，否則，縮減緩存過期時間；以及

S3：刪除緩存過期時間小于預設緩存過期時間的緩存數據。

在一些具體的實施例中，利用一雙向鏈表，將新的緩存數據添加至鏈表的末端。

在一些具體的實施例中，步驟S1具體包括：利用一哈希映射保存緩存數據的key和訪問次數，當緩存中容量達到閾值后，定時從鏈表的頭部開始，從哈希映射中迭代每一節點的訪問次數，并根據訪問次數對哈希映射進行排序。

在一些具體的實施例中，根據訪問次數對哈希映射進行降序排序。利用降序排列可以便于進行后續的緩存淘汰策略。

在一些具體的實施例中，從哈希映射的頭部開始對緩存數據進行緩存過期時間的延長，延長后的緩存過期時間T＝T_當前+t；從哈希映射的尾部開始進行緩存過期時間的縮減，縮減后的緩存過期時間T＝T_當前-t，其中，t表示延長因子。憑借該步驟可以實現自適應續命或加速刪除，緩存中熱點數據的比率將會提高，從而減少緩存雪崩和擊穿的現象。

在一些具體的實施例中，延長因子為緩存數據大小的二分之一。

在一些具體的實施例中，響應于延長后的緩存過期時間達到上限，不再延長緩存過期時間，且該緩存數據為熱點數據。

在一些具體的實施例中，響應于縮減后的緩存過期時間小于預設緩存過期時間，不再縮減緩存過期時間。憑借上述兩個步驟可以實現頻繁使用的數據長期保持，如果不是熱點數據，就短暫的存儲。