[發明專利]一種實現緩存數據調度的方法和裝置

在審

• 申請號: 201910573823.6
• 申請日: 2019-06-28
• 公開（公告）號: CN110334036A
• 公開（公告）日: 2019-10-15
• 發明（設計）人: 史琪
• 申請（專利權）人: 京東數字科技控股有限公司
• 主分類號: G06F12/121
• 分類號: G06F12/121;G06N20/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李陽;伊明明

本發明公開了一種實現緩存數據調度的方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：獲取待預測數據的數據標識和待預測時間；根據訓練的決策模型，判斷在所述預測時間是否對所述待預測數據進行緩存；其中，所述決策模型根據歷史數據的訪問操作日志訓練得到，所述訪問操作日志中至少包括所述歷史數據的數據標識和訪問操作時間；根據所述判斷的結果以及所述待預測數據的存儲狀態，生成調度指令。該方法通過機器學習預測數據的訪問，并且基于訓練的決策模型確定數據是否在某個時間被訪問。提高了緩存的命中率，節約了緩存資源。并且，降低了數據延遲，提升了存儲性能。

技術領域

本發明涉及計算機技術領域，尤其涉及一種實現緩存數據調度的方法和裝置。

背景技術

在高并發大流量情況下，硬件是有性能瓶頸的，此時通過緩存增速以提高用戶的性能體驗是非常有必要的，尤其是對于存儲海量數據的分布式系統。其中，數據的緩存是指用高速訪問的存儲器(一般指內存)，預先承載一部分硬盤中的數據，來達到高速訪問的目的。分布式存儲中，利用內存存儲熱點數據(訪問操作頻繁的數據)，達到降低數據請求的延遲，提高存儲性能的目的。如圖1所示，如果訪問數據的請求直接命中預先在內存中緩存的熱點數據，則可直接在內存中快速獲取數據。如果訪問數據的請求為緩存未命中，說明該訪問的數據存儲在硬盤中(也可能是在內存中淘汰至硬盤中)，則需要在硬盤中獲取數據。

目前，分布式存儲中主流的緩存淘汰算法為LFU(Least Frequently Used最不經常使用淘汰算法)和LRU(Least Recently Used最近最少使用淘汰算法)。LFU是用計數的方式統計經常被訪問的數據，最少被訪問的數據，優先淘汰出緩存。LRU是使用隊列，把被訪問的數據插入隊列的頭部，一段時間內不被使用的數據會逐漸移動到隊列的尾部，超過隊列的長度，隊列尾部的數據淘汰出緩存。

上述緩存淘汰算法，都是通過數據的使用頻率來判斷是否進行緩存。訪問頻率高的數據，則預留在緩存內，訪問頻率低的數據被刷到硬盤。但是用戶當前訪問頻率高的數據，并不能說明下一次還會訪問，之后的訪問頻率也會高。但上述緩存淘汰算法卻認為，當前訪問頻率高的數據，之后訪問頻率還是高。所以，對于數據訪問隨機性比較大的用戶，會有大量的請求需要到硬盤上去訪問，造成非常低的緩存命中率。進而，通過現有技術對數據進行緩存，會存在數據延遲較高、存儲性能低的問題。

發明內容

有鑒于此，本發明實施例提供一種實現緩存數據調度的方法和裝置，能夠通過機器學習預測數據的訪問，并且基于訓練的決策模型確定數據是否在某個時間被訪問。提高了緩存的命中率，節約了緩存資源。并且，降低了數據延遲，提升了存儲性能。

為實現上述目的，根據本發明實施例的一個方面，提供了一種實現緩存數據調度的方法。

本發明實施例的實現緩存數據調度的方法包括：獲取待預測數據的數據標識和待預測時間；根據訓練的決策模型，判斷在所述預測時間是否對所述待預測數據進行緩存；其中，所述決策模型根據歷史數據的訪問操作日志訓練得到，所述訪問操作日志中至少包括所述歷史數據的數據標識和訪問操作時間；根據所述判斷的結果以及所述待預測數據的存儲狀態，生成調度指令。

可選地，在根據訓練的決策模型，判斷在所述預測時間是否對所述待預測數據進行緩存之前，還包括：獲取歷史數據的訪問操作日志，所述訪問操作日志中還包括訪問用戶信息、所屬業務信息或者所在硬盤的標識信息；對獲取的訪問操作日志進行樣本處理，所述樣本處理包括去噪處理、分類處理或者關鍵字標記處理；通過Tensorflow對所述樣本處理后的訪問操作日志進行機器學習，以得到訓練的決策模型。