[發(fā)明專利]一種數(shù)據(jù)緩存優(yōu)化的方法、系統(tǒng)、設備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210107392.6
• 申請日: 2022-01-28
• 公開（公告）號: CN114547022A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設計）人: 張垚
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2458;G06F16/248
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 馬鵬林;朝魯蒙

1.一種數(shù)據(jù)緩存優(yōu)化的方法，其特征在于，包括如下步驟：

確定計算依賴的數(shù)據(jù)字段，并根據(jù)所述數(shù)據(jù)字段對接收到的數(shù)據(jù)進行裁剪；

對裁剪后的數(shù)據(jù)進行預聚合，建立預聚合數(shù)據(jù)和預聚合數(shù)據(jù)所在的時間周期的對應關系，并將時間字段作為索引；

根據(jù)窗口的屬性計算出需要預聚合的數(shù)據(jù)的時間跨度；以及

根據(jù)所述時間跨度進行窗口計算，并輸出窗口計算的結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)窗口的屬性計算出需要預聚合的數(shù)據(jù)的時間跨度包括：

查詢緩存中是否存在時間跨度包含于窗口的預聚合結(jié)果；

響應于不存在時間跨度包含于窗口的預聚合結(jié)果，讀取窗口內(nèi)的所有元素，計算時間間隔并按照所述時間間隔進行分片；以及

以分片為單位進行聚合計算，并將聚合計算結(jié)果和對應的時間跨度保存在緩存中。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述計算時間間隔并按照所述時間間隔進行分片包括：

確定窗口時間跨度和窗口滑動時長的最大公約數(shù)，并將所述最大公約數(shù)確定為所述時間間隔。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述時間跨度進行窗口計算包括：

從緩存中選擇預聚合結(jié)果使得所述預聚合結(jié)果對應的時間跨度之和與窗口時間跨度相同，并將所述預聚合結(jié)果合并。

5.一種數(shù)據(jù)緩存優(yōu)化的系統(tǒng)，其特征在于，包括：

裁剪模塊，配置用于確定計算依賴的數(shù)據(jù)字段，并根據(jù)所述數(shù)據(jù)字段對接收到的數(shù)據(jù)進行裁剪；

對應模塊，配置用于對裁剪后的數(shù)據(jù)進行預聚合，建立預聚合數(shù)據(jù)和預聚合數(shù)據(jù)所在的時間周期的對應關系，并將時間字段作為索引；

計算模塊，配置用于根據(jù)窗口的屬性計算出需要預聚合的數(shù)據(jù)的時間跨度；以及

執(zhí)行模塊，配置用于根據(jù)所述時間跨度進行窗口計算，并輸出窗口計算的結(jié)果。

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，所述計算模塊配置用于：

查詢緩存中是否存在時間跨度包含于窗口的預聚合結(jié)果；

響應于不存在時間跨度包含于窗口的預聚合結(jié)果，讀取窗口內(nèi)的所有元素，計算時間間隔并按照所述時間間隔進行分片；以及

以分片為單位進行聚合計算，并將聚合計算結(jié)果和對應的時間跨度保存在緩存中。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述計算模塊配置用于：

確定窗口時間跨度和窗口滑動時長的最大公約數(shù)，并將所述最大公約數(shù)確定為所述時間間隔。

8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述執(zhí)行模塊配置用于：

從緩存中選擇預聚合結(jié)果使得所述預聚合結(jié)果對應的時間跨度之和與窗口時間跨度相同，并將所述預聚合結(jié)果合并。

9.一種計算機設備，其特征在于，包括：

至少一個處理器；以及

存儲器，所述存儲器存儲有可在所述處理器上運行的計算機指令，所述指令由所述處理器執(zhí)行時實現(xiàn)權(quán)利要求1-4任意一項所述方法的步驟。

10.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-4任意一項所述方法的步驟。