[發(fā)明專利]一種流式數(shù)據(jù)的緩存方法及裝置

在審

• 申請?zhí)枺?/td>: 201911302664.2
• 申請日: 2019-12-17
• 公開（公告）號: CN111177194A
• 公開（公告）日: 2020-05-19
• 發(fā)明（設計）人: 王緒亮;聶鐵錚;黃菊;閆銘森;李迪;劉暢
• 申請（專利權）人: 東北大學
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京中強智尚知識產(chǎn)權代理有限公司 11448
• 代理人: 黃耀威

本發(fā)明公開了一種流式數(shù)據(jù)的緩存方法及裝置，涉及數(shù)據(jù)處理技術領域，為解決數(shù)據(jù)流輸出的高峰時刻緩存數(shù)據(jù)丟失的問題而發(fā)明。該方法主要包括：根據(jù)預置抽樣頻率和預置觀測時長，采集所述可緩存設備接收到的歷史數(shù)據(jù)流序列；根據(jù)所述歷史數(shù)據(jù)流序列，預測當前抽樣時刻的當前預測數(shù)據(jù)流；根據(jù)流量配置映射關系，查找所述當前預測數(shù)據(jù)流對應的單次緩存數(shù)據(jù)包大?。桓鶕?jù)所述查找結(jié)果，對當前實際數(shù)據(jù)流進行緩存。本發(fā)明主要應用數(shù)據(jù)緩存的過程中。

技術領域

本發(fā)明涉及數(shù)據(jù)處理技術領域，特別是涉及一種流式數(shù)據(jù)的緩存方法及裝置。

背景技術

隨著信息技術的不斷發(fā)展，人類活動所產(chǎn)生的數(shù)據(jù)正在以超越幾何級數(shù)的速度快速膨脹，形成無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，也就是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)，也就是大數(shù)據(jù)。流處理是一種主要的大數(shù)據(jù)處理模式，其中，流處理的數(shù)據(jù)源是實時流式數(shù)據(jù)，對實時性要求較高。

在流式數(shù)據(jù)處理系統(tǒng)中通常需要使用消息中間件起到數(shù)據(jù)緩沖的作用。流式數(shù)據(jù)處理的主要需要解決的流式數(shù)據(jù)的背壓問題，當接收數(shù)據(jù)速度大于數(shù)據(jù)處理速度，卻又不希望丟失數(shù)據(jù)時，就需要一個數(shù)據(jù)緩沖區(qū)容納已接收而未被處理的數(shù)據(jù)。這種緩沖機制常常利用消息中間件或消息隊列工具實現(xiàn)。在許多應用場景中，消息中間件的上游流式數(shù)據(jù)源輸出不穩(wěn)定的、非均勻的、突發(fā)的流數(shù)據(jù)，消息中間件不能自發(fā)適應數(shù)據(jù)流量的變化，也就是使用消息中間件并不意味著完全消除了數(shù)據(jù)丟失的風險。在流數(shù)據(jù)輸出的高峰時刻，流數(shù)據(jù)產(chǎn)生的速度可能高于消息中間件的吞吐能力，進而造成數(shù)據(jù)丟失，或者影響緩存中間件的性能。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種流式數(shù)據(jù)的緩存方法及裝置，主要目的在于解決現(xiàn)有技術中在數(shù)據(jù)流輸出的高峰時刻緩存數(shù)據(jù)丟失的問題。

依據(jù)本發(fā)明一個方面，提供了一種流式數(shù)據(jù)的緩存方法，包括：

根據(jù)預置抽樣頻率和預置觀測時長，采集所述可緩存設備接收到的歷史數(shù)據(jù)流序列；

根據(jù)所述歷史數(shù)據(jù)流序列，預測當前抽樣時刻的當前預測數(shù)據(jù)流；

根據(jù)流量配置映射關系，查找所述當前預測數(shù)據(jù)流對應的單次緩存數(shù)據(jù)包大??；

根據(jù)所述查找結(jié)果，對當前實際數(shù)據(jù)流進行緩存。

依據(jù)本發(fā)明另一個方面，提供了一種流式數(shù)據(jù)的緩存裝置，包括：

采集模塊，用于根據(jù)預置抽樣頻率和預置觀測時長，采集所述可緩存設備接收到的歷史數(shù)據(jù)流序列；

預測模塊，用于根據(jù)所述歷史數(shù)據(jù)流序列，預測當前抽樣時刻的當前預測數(shù)據(jù)流；

查找模塊，用于根據(jù)流量配置映射關系，查找所述當前預測數(shù)據(jù)流對應的單次緩存數(shù)據(jù)包大小；

緩存模塊，用于根據(jù)所述查找結(jié)果，對當前實際數(shù)據(jù)流進行緩存。

根據(jù)本發(fā)明的又一方面，提供了一種計算機存儲介質(zhì)，所述計算機存儲介質(zhì)中存儲有至少一種可執(zhí)行指令，所述可執(zhí)行指令使處理器執(zhí)行如上述流式數(shù)據(jù)的緩存方法對應的操作。

根據(jù)本發(fā)明的再一方面，提供了一種計算機設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一種可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行上述流式數(shù)據(jù)的緩存方法對應的操作。

借由上述技術方案，本發(fā)明實施例提供的技術方案至少具有下列優(yōu)點：