[發(fā)明專利]一種流數(shù)據(jù)處理方法及設(shè)備

有效

• 申請?zhí)枺?/td>: 201710791176.7
• 申請日: 2017-09-05
• 公開（公告）號: CN110019386B
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計）人: 王鳳
• 申請（專利權(quán)）人: 中國移動通信有限公司研究院;中國移動通信集團(tuán)公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2457
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 郭潤湘

本發(fā)明實施例提供一種流數(shù)據(jù)處理方法及設(shè)備，用于解決在對流數(shù)據(jù)進(jìn)行統(tǒng)計分析時存在的統(tǒng)計結(jié)果的準(zhǔn)確性較低的技術(shù)問題。該方法包括：在當(dāng)前數(shù)據(jù)時間窗口接收待處理數(shù)據(jù)，并確定其產(chǎn)生時間；若產(chǎn)生時間大于當(dāng)前數(shù)據(jù)時間窗口的結(jié)束時間，則將其緩存到當(dāng)前數(shù)據(jù)時間窗口之后的下一個數(shù)據(jù)時間窗口中，并在確定產(chǎn)生時間未處于當(dāng)前數(shù)據(jù)時間窗口的延遲時長對應(yīng)的時間范圍內(nèi)，關(guān)閉當(dāng)前數(shù)據(jù)時間窗口，及在確定下一個數(shù)據(jù)時間窗口關(guān)閉時對已緩存的待處理數(shù)據(jù)進(jìn)行處理；若產(chǎn)生時間小于當(dāng)前數(shù)據(jù)時間窗口的起始時間，且在確定產(chǎn)生時間在多個數(shù)據(jù)時間窗口中對應(yīng)的歷史數(shù)據(jù)時間窗口已關(guān)閉時，根據(jù)產(chǎn)生時間和預(yù)設(shè)間隔時間對待處理數(shù)據(jù)進(jìn)行時間分組處理。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，特別涉及一種流數(shù)據(jù)處理方法及設(shè)備。

背景技術(shù)

流計算是一種新的數(shù)據(jù)處理方式，能實時對大規(guī)模的流數(shù)據(jù)進(jìn)行處理分析呈現(xiàn)，為系統(tǒng)提供即時的數(shù)據(jù)價值，被廣泛應(yīng)用于金融服務(wù)、網(wǎng)絡(luò)監(jiān)控、電信數(shù)據(jù)管理、Web應(yīng)用、生產(chǎn)制造、傳感檢測等領(lǐng)域。其中，流計算中常用的操作是對一定時間間隔內(nèi)的數(shù)據(jù)進(jìn)行統(tǒng)計。

目前，流計算中，在對一定時間間隔內(nèi)的數(shù)據(jù)進(jìn)行統(tǒng)計時，可以通過對數(shù)據(jù)時間窗口內(nèi)的數(shù)據(jù)進(jìn)行統(tǒng)計分析，即根據(jù)數(shù)據(jù)產(chǎn)生端的時間窗口對數(shù)據(jù)進(jìn)行處理。但由于數(shù)據(jù)產(chǎn)生端環(huán)境不同以及數(shù)據(jù)采集/傳輸快慢程度的影響，使得數(shù)據(jù)統(tǒng)計端接收到數(shù)據(jù)的數(shù)據(jù)時間可能是亂序的。現(xiàn)采用的處理方式是：在收到下一個時間窗口的數(shù)據(jù)時，關(guān)閉當(dāng)前時間窗口，將當(dāng)前時間窗口數(shù)據(jù)處理輸出結(jié)果，并將在此之后到達(dá)的當(dāng)前時間窗口內(nèi)的數(shù)據(jù)都丟棄，不進(jìn)行處理。

因此，現(xiàn)有技術(shù)中在對流數(shù)據(jù)進(jìn)行統(tǒng)計分析時嚴(yán)重破壞了亂序數(shù)據(jù)的完整性，導(dǎo)致統(tǒng)計分析結(jié)果的準(zhǔn)確性較低。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種流數(shù)據(jù)處理方法及設(shè)備，用于解決現(xiàn)有技術(shù)中在對流數(shù)據(jù)進(jìn)行統(tǒng)計分析時嚴(yán)重破壞了亂序數(shù)據(jù)的完整性，導(dǎo)致統(tǒng)計分析結(jié)果的準(zhǔn)確性較低的技術(shù)問題。

第一方面，本發(fā)明實施例提供一種流數(shù)據(jù)處理方法，在該方法中預(yù)先按照預(yù)設(shè)間隔時間設(shè)置多個數(shù)據(jù)時間窗口及每個數(shù)據(jù)時間窗口的延遲時長，所述多個數(shù)據(jù)時間窗口用于表征數(shù)據(jù)產(chǎn)生的不同時間段，所述延遲時間小于所述預(yù)設(shè)間隔時間，所述方法包括以下步驟：

在當(dāng)前數(shù)據(jù)時間窗口接收待處理數(shù)據(jù)，并確定所述待處理數(shù)據(jù)的產(chǎn)生時間；

若所述產(chǎn)生時間大于所述當(dāng)前數(shù)據(jù)時間窗口的結(jié)束時間，則將所述待處理數(shù)據(jù)緩存到所述當(dāng)前數(shù)據(jù)時間窗口之后的下一個數(shù)據(jù)時間窗口中，并在確定所述產(chǎn)生時間未處于所述當(dāng)前數(shù)據(jù)時間窗口的延遲時長對應(yīng)的時間范圍內(nèi)，關(guān)閉所述當(dāng)前數(shù)據(jù)時間窗口，及在確定所述下一個數(shù)據(jù)時間窗口關(guān)閉時對已緩存的所述待處理數(shù)據(jù)進(jìn)行處理；

若所述產(chǎn)生時間小于所述當(dāng)前數(shù)據(jù)時間窗口的起始時間，則確定所述產(chǎn)生時間在所述多個數(shù)據(jù)時間窗口中對應(yīng)的歷史數(shù)據(jù)時間窗口，并在確定所述歷史數(shù)據(jù)時間窗口已關(guān)閉時，根據(jù)所述產(chǎn)生時間和所述預(yù)設(shè)間隔時間對所述待處理數(shù)據(jù)進(jìn)行時間分組處理。

可選的，若所述產(chǎn)生時間小于所述當(dāng)前數(shù)據(jù)時間窗口的起始時間，在確定所述產(chǎn)生時間在所述多個數(shù)據(jù)時間窗口中對應(yīng)的歷史數(shù)據(jù)時間窗口之后，進(jìn)一步包括：

確定所述歷史數(shù)據(jù)時間窗口未關(guān)閉時，將所述待處理數(shù)據(jù)緩存到所述歷史數(shù)據(jù)時間窗口中；

確定所述歷史數(shù)據(jù)時間窗口關(guān)閉時，對所述歷史數(shù)據(jù)時間窗口中已緩存的待處理數(shù)據(jù)進(jìn)行處理。

可選的，確定所述歷史數(shù)據(jù)時間窗口未關(guān)閉，包括：

計算所述待處理數(shù)據(jù)針對所述當(dāng)前數(shù)據(jù)時間窗口的到達(dá)時間；

若所述到達(dá)時間處于所述歷史數(shù)據(jù)時間窗口的延遲時長對應(yīng)的時間范圍內(nèi)，確定所述歷史數(shù)據(jù)時間窗口未關(guān)閉。

可選的，在確定所述產(chǎn)生時間大于所述當(dāng)前數(shù)據(jù)時間窗口的結(jié)束時間之后，進(jìn)一步包括：