[發明專利]數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110735667.6
• 申請日: 2021-06-30
• 公開（公告）號: CN115543938A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 高翔;王挺;宋軍
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 張筱寧

本申請實施例提供了一種數據處理方法、裝置、電子設備及存儲介質，涉及區塊鏈技術領域。該方法包括：獲取目標數據，目標數據為響應于消息隊列中對應的讀請求，從除緩存之外的存儲介質獲取到的數據，緩存包括一級緩存隊列和至少一個二級緩存隊列；若確定一級緩存隊列符合數據清理條件，則確定一級緩存隊列中待清理的數據以及待清理的數據對應的參考讀請求的數量；根據數量確定存儲待清理的數據的二級緩存隊列的序號，將待清理的數據從一級緩存隊列中刪除、并存儲至相應序號的二級緩存隊列，將目標數據存儲至一級緩存隊列。本申請實施例能夠實現通道間負載均衡，最終降低讀請求的平均響應時間。

技術領域

本申請涉及區塊鏈技術領域，具體而言，本申請涉及一種數據處理方法、裝置、電子設備及存儲介質。

背景技術

當使用者第一次向數據庫發出查詢數據的請求的時候，數據庫會先在緩存中查找該數據，如果要訪問的數據恰好已經在緩存中(一般稱之為Cache Hit)那么就直接用緩存中讀取該數據，反之如果緩存中沒有使用者要查詢的數據那么這種情況稱之為CacheMiss，在這種情況下數據庫就會先從磁盤上讀取使用者要的數據放入緩存，使用者再從緩存讀取該數據。

基于Flash的SSD是磁盤的一種常見形式，該磁盤內部包含多個獨立通道，這些通道之間的負載在特定的時間段內可能是不均衡的，含有較多熱數據(即訪問頻率較高的數據)的通道的負載相應會更高，而另一些通道只包含冷數據(訪問頻率低的數據)很難被訪問到。這種情況下，發送到負載較高的通道的讀請求會有很長的等待延遲。

傳統的緩存清理策略認為所有數據的缺失延遲(即數據未存儲在緩存時，從SSD獲取數據所造成的延遲)是一致的，并將命中率(命中數/(命中數+沒有命中數)，若被訪問的數據在緩存中則稱之為命中)被作為衡量性能的主要指標，這種方式往往導致通道間的負載并不均衡，并且數據讀讀取請求的平均響應時間較高。

發明內容

本發明實施例提供一種克服上述問題或者至少部分地解決上述問題的數據處理方法、裝置、電子設備及存儲介質。

第一方面，提供了一種數據處理方法，該方法包括：

獲取目標數據，目標數據為響應于消息隊列中對應的讀請求，從除緩存之外的存儲介質獲取到的數據，緩存包括一級緩存隊列和至少一個二級緩存隊列；

若確定一級緩存隊列符合數據清理條件，則確定一級緩存隊列中待清理的數據以及待清理的數據對應的參考讀請求的數量；

根據數量確定存儲待清理的數據的二級緩存隊列的序號，將待清理的數據從一級緩存隊列中刪除、并存儲至相應序號的二級緩存隊列，將目標數據存儲至一級緩存隊列；

其中，序號用于表示相應的二級緩存隊列中的數據被清理出緩存的優先級；參考讀請求為在待清理的數據對應的讀請求之前存儲至消息隊列，且在待清理的數據對應的讀請求之后被讀取的讀請求。

第二方面，提供了一種數據處理裝置，包括：

目標數據獲取模塊，用于獲取目標數據，目標數據為響應于消息隊列中對應的讀請求，從除緩存之外的存儲介質獲取到的數據，緩存包括一級緩存隊列和至少一個二級緩存隊列；

待清理數據確定模塊，用于若確定一級緩存隊列符合數據清理條件，則確定一級緩存隊列中待清理的數據以及待清理的數據對應的參考讀請求的數量；

數據轉存模塊，用于根據數量確定存儲待清理的數據的二級緩存隊列的序號，將待清理的數據從一級緩存隊列中刪除、并存儲至相應序號的二級緩存隊列，將目標數據存儲至一級緩存隊列；

其中，序號用于表示相應的二級緩存隊列中的數據被清理出緩存的優先級；參考讀請求為在待清理的數據對應的讀請求之前存儲至消息隊列，且在待清理的數據對應的讀請求之后被讀取的讀請求。