[發明專利]一種流式數據的緩存方法及裝置

在審

• 申請號: 201911302664.2
• 申請日: 2019-12-17
• 公開（公告）號: CN111177194A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 王緒亮;聶鐵錚;黃菊;閆銘森;李迪;劉暢
• 申請（專利權）人: 東北大學
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

1.一種流式數據的緩存方法，其特征在于，包括：

根據預置抽樣頻率和預置觀測時長，采集可緩存設備接收到的歷史數據流序列；

根據所述歷史數據流序列，預測當前抽樣時刻的當前預測數據流；

根據流量配置映射關系，查找所述當前預測數據流對應的單次緩存數據包大小；

根據所述查找結果，對當前實際數據流進行緩存。

2.如權利要求1所述的方法，其特征在于，所述根據所述歷史數據流序列，預測當前抽樣時刻的當前預測數據流，包括：

根據所述預置抽樣頻率和所述預置觀測時長，計算所述當前抽樣時刻相當于所述預置觀測時長中的抽樣位置；

在所述歷史數據流序列中，查找所述抽樣位置對應的當前預存數據流。

3.如權利要求1所述的方法，其特征在于，所述根據所述查找結果，對當前實際數據流進行緩存之后，所述方法還包括：

監測所述當前時刻的實際當前數據流；

計算所述預測當前流程數據與所述實際當前數據流的流量差；

如果所述流量差大于第一預置閾值，則按照第一預置學習率調整所述預置抽樣頻率和所述預置觀測時長，且重新采集所述歷史數據流序列；

如果所述流量差小于第二預置閾值，則按照第二預置學習率調整所述預置抽樣頻率和所述預置觀測時長，且重新采集所述歷史數據流序列。

4.如權利要求1所述的方法，其特征在于，所述按照流量配置映射關系，查找所述實際當前數據流對應的單次緩存數據包大小之前，所述方法還包括：

測試所述可緩存設備的數據流流速與單次緩存數據包大小之間的流量配置映射關系。

5.如權利要求4所述的方法，其特征在于，所述測試可緩存設備的數據流流速與單次緩存數據包大小之間的流量配置映射關系，包括：

在所述可緩存設備中，設置速度測試序列和緩存配置測試序列，所述測試序列包括多個數值不同的數據流流速，且所述數據流流速按照從小到大的順序排列，所述緩存配置測試序列包括多個數值不同的配置緩存數據包大小，且所述配置緩存數據包大小按照從小到大的順序排列；

將所述速度測試序列中每個所述數據流流速以所述緩存配置測試序列中每個所述配置緩存數據包大小進行緩存，測試并記錄緩存過程中的平均吞吐速率和平均發送延遲；

根據所述和所述平均發送延遲，采用預置擬合算法，擬合每個所述數據流流速的所述平均吞吐速率對應的流量吞吐速率關系式，以及擬合每個所述數據流流速的所述平均發送延遲對應的流量發送延遲關系式；

將所述流量吞吐速率關系式和所述流量發送延遲關系式作為約束條件，采用非支配排序遺傳算法NSGA，計算所述速度測試序列中每個所述數據流流速的非劣勢配置區間，所述非劣勢配置換區間是指使得所述數據流流速在緩存過程中符合所述約束條件的所述配置緩存數據包大小的可配置數據范圍區間；

根據所述非劣勢配置區間的配置中間值，采用回歸模型擬合算法，計算與所述數據流流速對應的配置緩存數據包大小，獲取所述數據流流速與所述單次緩存數據包大小之間的所述流量配置映射關系。

6.一種流式數據的緩存裝置，其特征在于，包括：

采集模塊，用于根據預置抽樣頻率和預置觀測時長，采集所述可緩存設備接收到的歷史數據流序列；

預測模塊，用于根據所述歷史數據流序列，預測當前抽樣時刻的當前預測數據流；

查找模塊，用于根據流量配置映射關系，查找所述當前預測數據流對應的單次緩存數據包大小；

緩存模塊，用于根據所述查找結果，對當前實際數據流進行緩存。

7.如權利要求6所述的裝置，其特征在于，所述預測模塊，包括：

計算單元，用于根據所述預置抽樣頻率和所述預置觀測時長，計算所述當前抽樣時刻相當于所述預置觀測時長中的抽樣位置；

查找單元，用于在所述歷史數據流序列中，查找所述抽樣位置對應的當前預存數據流。