[發明專利]一種流數據處理方法及設備

有效

• 申請號: 201710791176.7
• 申請日: 2017-09-05
• 公開（公告）號: CN110019386B
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 王鳳
• 申請（專利權）人: 中國移動通信有限公司研究院;中國移動通信集團公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2457
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

1.一種流數據處理方法，其特征在于，預先按照預設間隔時間設置多個數據時間窗口及每個數據時間窗口的延遲時長，所述多個數據時間窗口用于表征數據產生的不同時間段，所述延遲時間小于所述預設間隔時間，所述方法包括：

在當前數據時間窗口接收待處理數據，并確定所述待處理數據的產生時間；

若所述產生時間大于所述當前數據時間窗口的結束時間，則將所述待處理數據緩存到所述當前數據時間窗口之后的下一個數據時間窗口中，并在確定所述產生時間未處于所述當前數據時間窗口的延遲時長對應的時間范圍內，關閉所述當前數據時間窗口，及在確定所述下一個數據時間窗口關閉時對已緩存的所述待處理數據進行處理；

若所述產生時間小于所述當前數據時間窗口的起始時間，則確定所述產生時間在所述多個數據時間窗口中對應的歷史數據時間窗口，并在確定所述歷史數據時間窗口已關閉時，根據所述產生時間和所述預設間隔時間對所述待處理數據進行時間分組處理。

2.如權利要求1所述的方法，其特征在于，若所述產生時間小于所述當前數據時間窗口的起始時間，在確定所述產生時間在所述多個數據時間窗口中對應的歷史數據時間窗口之后，進一步包括：

確定所述歷史數據時間窗口未關閉時，將所述待處理數據緩存到所述歷史數據時間窗口中；

確定所述歷史數據時間窗口關閉時，對所述歷史數據時間窗口中已緩存的待處理數據進行處理。

3.如權利要求2所述的方法，其特征在于，確定所述歷史數據時間窗口未關閉，包括：

計算所述待處理數據針對所述當前數據時間窗口的到達時間；

若所述到達時間處于所述歷史數據時間窗口的延遲時長對應的時間范圍內，確定所述歷史數據時間窗口未關閉。

4.如權利要求1、2或3所述的方法，其特征在于，在確定所述產生時間大于所述當前數據時間窗口的結束時間之后，進一步包括：

確定所述產生時間處于所述當前數據時間窗口的延遲時長對應時間范圍內時，保持所述當前數據時間窗口處于打開狀態。

5.如權利要求1、2或3所述的方法，其特征在于，在確定所述歷史數據時間窗口已關閉，根據所述產生時間和所述預設間隔時間對所述待處理數據進行時間分組處理之后，進一步包括：

獲得所述待處理數據的分組處理結果；

在確定所述當前數據時間窗口關閉時，根據所述分組處理結果對所述歷史數據時間窗口的歷史處理結果進行更新，獲得所述歷史數據時間窗口對應的更新處理結果；其中，所述歷史處理結果為所述歷史數據時間窗口中已緩存的數據的處理結果。

6.如權利要求5所述的方法，其特征在于，在確定所述歷史數據時間窗口已關閉，根據所述產生時間和所述預設間隔時間對所述待處理數據進行時間分組處理之后，進一步包括：

丟棄所述待處理數據。

7.一種流數據處理設備，其特征在于，所述流數據處理設備中預先按照預設間隔時間設置有多個數據時間窗口及每個數據時間窗口的延遲時長，所述多個數據時間窗口用于表征數據產生的不同時間段，所述延遲時間小于所述預設間隔時間，所述流數據處理設備包括：

接收器，用于在當前數據時間窗口接收待處理數據，并確定所述待處理數據的產生時間；

存儲器，與所述接收器連接，用于存儲當前數據時間窗口接收的數據；

處理器，分別與所述接收器及所述存儲器連接，若所述產生時間大于所述當前數據時間窗口的結束時間，用于將所述待處理數據緩存到所述存儲器中對應于所述當前數據時間窗口之后的下一個數據時間窗口的存儲區域中，并在確定所述產生時間未處于所述當前數據時間窗口的延遲時長對應的時間范圍內，關閉所述當前數據時間窗口，及在確定所述下一個數據時間窗口關閉時對所述存儲器中已緩存的所述待處理數據進行處理；以及，若所述產生時間小于所述當前數據時間窗口的起始時間，用于確定所述產生時間在所述多個數據時間窗口中對應的歷史數據時間窗口，并在確定所述歷史數據時間窗口已關閉時，用于根據所述產生時間和所述預設間隔時間對所述待處理數據進行時間分組處理。