[發明專利]基于多級緩存的數據處理方法及系統

在審

• 申請號: 202110963175.2
• 申請日: 2021-08-20
• 公開（公告）號: CN113672524A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 蔡尚志;王盛
• 申請（專利權）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: G06F12/0877
• 分類號: G06F12/0877
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 王勇;鄧小玲

本申請實施例公開了一種基于多級緩存的數據處理方法，用于服務器中，其中，所述服務器包括第一級緩存和第二級緩存，所述第一級緩存包括多個第一類存儲節點，所述第二級緩存包括多個第二類存儲節點；所述數據處理方法包括：響應于讀取請求，通過當前哈希環選擇一個目標節點；判斷所述目標節點是否是所述多個第一類存儲節點中的任意一個；及若所述目標節點不是所述多個第一類存儲節點中的任意一個，則從所述多個第二類存儲節點中讀取用于響應所述讀取請求的響應數據，并返回所述響應數據。本申請實施例提供的技術方案，可以提高所述讀取請求的響應速度和降低第一級緩存的壓力。

技術領域

本申請涉及計算機技術領域，尤其涉及一種基于多級緩存的數據處理方法、系統、計算機設備和計算機可讀存儲介質。

背景技術

隨著互聯網和計算機技術的發展，數據規模越來越大。為應對大規模的數據寫入或讀取，人們開始使用多級緩存技術，將不同訪問頻次的數據存儲在不同層級緩存中。鑒于訪問頻次、讀寫速度和存儲設備成本等因素，不同層級緩存一般采用不同類型的存儲設備。本發明人發現，當前多級緩存容易造成性能浪費。

發明內容

本申請實施例的目的是提供一種基于多級緩存的數據處理方法、系統、計算機設備及計算機可讀存儲介質，用于解決以下問題：當前多級緩存容易造成性能浪費。

本申請實施例的一個方面提供了一種基于多級緩存的數據處理方法，用于服務器中，其中，所述服務器包括第一級緩存和第二級緩存，所述第一級緩存包括多個第一類存儲節點，所述第二級緩存包括多個第二類存儲節點；所述數據處理方法包括：

響應于讀取請求，通過當前哈希環選擇一個目標節點；

判斷所述目標節點是否是所述多個第一類存儲節點中的任意一個；及

若所述目標節點不是所述多個第一類存儲節點中的任意一個，則從所述多個第二類存儲節點中讀取用于響應所述讀取請求的響應數據，并返回所述響應數據。

可選的，還包括：以預設頻率更新所述當前哈希環。

可選的，所述當前哈希環為第一哈希環；

所述以預設頻率更新所述當前哈希環，包括：

根據各個第一類存儲節點的當前狀態，將所述當前哈希環從所述第一哈希環更新為第二哈希環。

可選的，所述各個第一類存儲節點的當前狀態包括所述各個第一類存儲節點的當前磁盤狀態值；

所述根據各個第一類存儲節點的當前狀態，將所述當前哈希環從所述第一哈希環更新為第二哈希環，包括：

構造一個新哈希環；

根據所述新哈希環和所述各個第一類存儲節點的當前磁盤狀態值，生成所述第二哈希環；及

將所述當前哈希環從所述第一哈希環更新為所述第二哈希環。

可選的，所述獲取所述各個第一類存儲節點的當前磁盤狀態值，包括：

根據所述各個第一類存儲節點的IO隊列和請求延時，獲取所述各個第一類存儲節點的當前磁盤狀態值。

可選的，所述根據所述各個第一類存儲節點的IO隊列和請求延時，獲取所述各個第一類存儲節點的當前磁盤狀態值，包括：

判斷第i個存儲節點的IO隊列的數量是否大于第一預設值；其中，所述第i個存儲節點為所述多個第一類存儲節點中任意一個存儲節點，1≤i≤M，i為整數，M為所述多個第一類存儲節點的數量；

若所述第i個存儲節點的IO隊列的數量大于所述第一預設值，則對所述第i個存儲節點的當前磁盤狀態值自減1；

若所述第i個存儲節點的IO隊列的數量不大于所述第一預設值，則獲取所述第i個存儲節點的請求延時；