[發明專利]緩存空間回收方法和裝置

有效

• 申請號: 201811096781.3
• 申請日: 2018-09-20
• 公開（公告）號: CN109189739B
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 毛寶龍;王哲涵
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/182
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 許蓓

本公開提出一種緩存空間回收方法和裝置，涉及計算機領域。其中的方法包括：在每個檢測周期到達后，檢測緩存空間使用量；判斷緩存空間使用量是否達到預設的第一閾值；在緩存空間使用量達到預設的第一閾值的情況下，清理緩存空間，直至緩存空間使用量達到預設的第二閾值。通過周期性的對緩存空間進行較大幅度地清理和回收，可以減少緩存空間回收次數，并且，該緩存空間回收過程根據緩存空間自身的使用情況進行使得其獨立于緩存申請處理過程，因此，緩存空間回收操作不會阻塞緩存申請處理過程，可以提高緩存申請的處理效率，從而提高緩存性能。

技術領域

本公開涉及計算機領域，特別涉及一種緩存空間回收方法和裝置。

背景技術

Alluxio是一個高容錯的分布式文件系統，允許文件以內存的速度在集群框架中進行可靠的共享。它是架構在底層分布式文件系統和上層分布式計算框架之間的一個中間件，主要職責是以文件形式在內存或其它存儲介質中提供數據的存取服務。

Alluxio作為一個緩存系統，當緩存空間不足時，需要一定的策略回收緩存空間。Alluxio目前采用的緩存空間回收方案為：Alluxio的從節點(worker)接收到緩存申請請求，判斷緩存空間的可用容量相對于請求的緩存容量是否足夠，如果不夠，按照請求的緩存容量釋放和回收足夠的緩存空間，然后再按照請求的緩存容量分配緩存，在分配的緩存中創建數據塊并緩存數據。

發明內容

發明人發現，相關技術采用的是緩存申請處理與緩存空間回收同步的緩存空間回收方案，在緩存空間不足的情況下，由于需要先回收緩存空間再分配緩存，影響緩存申請的處理效率，此外，由于一次回收的緩存空間是按照請求的緩存容量確定的，后續的多個緩存申請也可能面臨緩存空間不足的問題，從而頻繁引發緩存空間回收流程，嚴重影響緩存性能。

本公開提出一種緩存申請處理與緩存空間回收異步的緩存空間回收方案，可以提高緩存申請的處理效率，減少緩存空間回收次數，從而提高緩存性能。

本公開的一些實施例提出一種緩存空間回收方法，包括：

在每個檢測周期到達后，檢測緩存空間使用量；

判斷緩存空間使用量是否達到預設的第一閾值；

在緩存空間使用量達到預設的第一閾值的情況下，清理緩存空間，直至緩存空間使用量達到預設的第二閾值。

在一些實施例中，所述緩存空間包括多個緩存層，每個緩存層配置有相應的第一閾值和第二閾值，針對每個緩存層分別執行前述的緩存空間回收方法，其中，不同緩存層的第一閾值和第二閾值被配置為相同或不同。

在一些實施例中，不同緩存層的讀寫速度不同，按照緩存層的讀寫速度由快到慢的順序，針對每個緩存層分別執行前述的緩存空間回收方法。

在一些實施例中，清理緩存空間包括：在當前緩存層使用量達到預設的第一閾值的情況下，按照最近最少使用原則確定待清理的數據塊，直至使當前緩存層使用量能夠達到預設的第二閾值；如果當前緩存層是讀寫速度最慢的緩存層，將待清理的數據塊從所述緩存空間移除；如果當前緩存層不是讀寫速度最慢的緩存層，將待清理的數據塊從當前緩存層移動到讀寫速度比當前緩存層更慢的緩存層或讀寫速度最慢的緩存層。

在一些實施例中，第一線程，被配置為執行前述任一項的緩存空間回收方法；第二線程，被配置為響應于緩存申請請求，判斷緩存空間的可用容量相對于請求的緩存容量是否足夠，如果不夠，按照請求的緩存容量清理緩存空間；其中，第一線程和第二線程被配置為并行工作。

本公開的一些實施例提出一種緩存空間回收裝置，包括：

檢測模塊，被配置為在每個檢測周期到達后，檢測緩存空間使用量；

判斷模塊，被配置為判斷緩存空間使用量是否達到預設的第一閾值；