[發明專利]一種實現緩存數據調度的方法和裝置

在審

• 申請號: 201910573823.6
• 申請日: 2019-06-28
• 公開（公告）號: CN110334036A
• 公開（公告）日: 2019-10-15
• 發明（設計）人: 史琪
• 申請（專利權）人: 京東數字科技控股有限公司
• 主分類號: G06F12/121
• 分類號: G06F12/121;G06N20/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李陽;伊明明

1.一種實現緩存數據調度的方法，其特征在于，包括：

獲取待預測數據的數據標識和待預測時間；

根據訓練的決策模型，判斷在所述預測時間是否對所述待預測數據進行緩存；其中，所述決策模型根據歷史數據的訪問操作日志訓練得到，所述訪問操作日志中至少包括所述歷史數據的數據標識和訪問操作時間；

根據所述判斷的結果以及所述待預測數據的存儲狀態，生成調度指令。

2.根據權利要求1所述的方法，其特征在于，在根據訓練的決策模型，判斷在所述預測時間是否對所述待預測數據進行緩存之前，還包括：

獲取歷史數據的訪問操作日志，所述訪問操作日志中還包括訪問用戶信息、所屬業務信息或者所在硬盤的標識信息；

對獲取的訪問操作日志進行樣本處理，所述樣本處理包括去噪處理、分類處理或者關鍵字標記處理；

通過Tensorflow對所述樣本處理后的訪問操作日志進行機器學習，以得到訓練的決策模型。

3.根據權利要求1所述的方法，其特征在于，根據所述判斷的結果以及所述待預測數據的存儲狀態，生成調度指令的步驟包括：

確認所述判斷的結果與所述待預測數據的存儲狀態是否一致，所述存儲狀態為已進行緩存、未進行緩存；

如果一致，則生成第一調度指令，使得通過所述第一調度指令在所述預測時間不改變所述待預測數據的存儲狀態；

如果不一致，生成第二調度指令，使得通過所述第二調度指令在所述預測時間將所述待預測數據從硬盤調至內存，或者通過所述第二調度指令在所述預測時間將所述待預測數據從內存調至硬盤。

4.根據權利要求1所述的方法，其特征在于，所述待預測數據以分片的形式存儲在分布式系統；所述數據標識為分片編號。

5.根據權利要求1所述的方法，其特征在于，獲取待預測數據的數據標識和待預測時間的步驟包括：

根據預設的時間間隔獲取數據信息列表；所述數據信息列表中記錄有至少包括一條待預測數據，以及每條待預測數據的數據標識和待預測時間。

6.根據權利要求5所述的方法，其特征在于，所述數據信息列表中記錄有每條待預測數據的存儲狀態；則

根據所述判斷的結果以及所述待預測數據的存儲狀態，生成調度指令之前，還包括：基于所述數據信息列表，確定每條待預測數據的存儲狀態；

根據所述判斷的結果以及所述待預測數據的存儲狀態，生成調度指令之后，還包括：根據執行調度指令的結果，對應更新所述數據信息列表中待預測數據的存儲狀態。

7.一種實現緩存數據調度的裝置，其特征在于，包括：

獲取模塊，用于獲取待預測數據的數據標識和待預測時間；

判斷模塊，用于根據訓練的決策模型，判斷在所述預測時間是否對所述待預測數據進行緩存；其中，所述決策模型根據歷史數據的訪問操作日志訓練得到，所述訪問操作日志中至少包括所述歷史數據的數據標識和訪問操作時間；

指令生成模塊，用于根據所述判斷的結果以及所述待預測數據的存儲狀態，生成調度指令。

8.根據權利要求7所述的裝置，其特征在于，還包括模型訓練模塊，用于獲取歷史數據的訪問操作日志，所述訪問操作日志中還包括訪問用戶信息、所屬業務信息或者所在硬盤的標識信息；以及對獲取的訪問操作日志進行樣本處理，所述樣本處理包括去噪處理、分類處理或者關鍵字標記處理；通過Tensorflow對所述樣本處理后的訪問操作日志進行機器學習，以得到訓練的決策模型。

9.根據權利要求7所述的裝置，其特征在于，所述指令生成模塊還用于，確認所述判斷的結果與所述待預測數據的存儲狀態是否一致，所述存儲狀態為已進行緩存、未進行緩存；

如果一致，則生成第一調度指令，使得通過所述第一調度指令在所述預測時間不改變所述待預測數據的存儲狀態；

如果不一致，生成第二調度指令，使得通過所述第二調度指令在所述預測時間將所述待預測數據從硬盤調至內存，或者通過所述第二調度指令在所述預測時間將所述待預測數據從內存調至硬盤。