[發明專利]基于Flink框架的數據處理方法、裝置及電子設備

在審

• 申請號: 202211682433.0
• 申請日: 2022-12-26
• 公開（公告）號: CN116028515A
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 周利;浦世亮;陳小龍
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2458;G06F16/27;G06F16/2455
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

本申請實施例提供的一種基于Flink框架的數據處理方法、裝置及電子設備，應用于信息技術領域，通過獲取待處理的第一數據和第一數據對應的第一時間戳；將第一數據緩存至預設數據集合中，并將第一時間戳緩存至有序時間隊列中；當預設數據集合中數據的數量超過預設數量時，在有序時間隊列中選取最前端的時間戳，得到第二時間戳；在預設數據集合中刪除第二時間戳對應的數據；通過OVER?AGGREGATE窗口對預設數據集合中的數據進行處理，得到當前的數據處理結果。通過本申請實施例的方法，在需要進行數據的刪除時，只需要在有序時間隊列中選取最前端的時間戳，并在預設數據集合中刪除該時間戳對應的數據即可，無需遍歷所有緩存的數據，從而提高數據的處理效率。

技術領域

本申請涉及信息技術領域，特別是涉及一種基于Flink框架的數據處理方法、裝置及電子設備。

背景技術

Flink框架是大數據處理領域一個開源的分布式的流式處理框架，其對數據的處理可以達到毫秒級別。OVER?AGGREGATE作為Flink框架中的一種窗口聚合方式，可以為每條數據返回近鄰聚合結果。基于其特性，該功能非常適合用來在特征工程中生成近實時特征。以訂單場景為例，每來一條新增訂單，都可以使用OVER?AGGREGATE來計算前面若干條訂單的消費總額，并作為一個新的特征補充到當前數據中。

然而，在OVER?AGGREGATE根據近期數據生成近實時特征時，往往需要對過期數據進行刪除，此時需要遍歷所有的數據查找到最早的數據并進行刪除。而在數據量較大時，遍歷過程往往需要較長時間，從而導致數據處理效率低。

發明內容

本申請實施例的目的在于提供一種基于Flink框架的數據處理方法、裝置及電子設備，以實現提高Flink框架中OVER?AGGREGATE的數據處理效率。具體技術方案如下：

本申請實施例的第一方面，提供了一種基于Flink框架的數據處理方法，所述Flink框架包括至少一個OVER?AGGREGATE窗口，所述方法包括：

獲取待處理的第一數據和所述第一數據對應的第一時間戳；

將所述第一數據緩存至預設數據集合中，并將所述第一時間戳緩存至有序時間隊列中，其中，所述有序時間隊列中的數據按照數據時間先后的順序進行排列；

當所述預設數據集合中數據的數量超過預設數量時，在所述有序時間隊列中選取最前端的時間戳，得到第二時間戳，其中，所述預設數量根據所述OVER?AGGREGATE窗口的窗口大小確定，所述OVER?AGGREGATE窗口的窗口大小表示所述OVER?AGGREGATE窗口每次處理的數據的數量；

在所述預設數據集合中刪除所述第二時間戳對應的數據；

通過所述OVER?AGGREGATE窗口對所述預設數據集合中的數據進行處理，得到當前的數據處理結果。

可選的，在所述Flink框架包括一個OVER?AGGREGATE窗口的情況下，所述預設數量為該OVER?AGGREGATE窗口的窗口大小；

在所述Flink框架包括多個OVER?AGGREGATE窗口的情況下，所述預設數量為窗口大小最大的OVER?AGGREGATE窗口的窗口大小。

可選的，所述通過所述OVER?AGGREGATE窗口對所述預設數據集合中的數據進行處理，得到數據處理結果，包括：

針對任一個OVER?AGGREGATE窗口，在所述預設數據集合中數據的數量大于該OVERAGGREGATE窗口的窗口大小的情況下，計算所述預設數據集合中數據的數量與該OVERAGGREGATE窗口的窗口大小的差值N；

從所述有序時間隊列中的前端選取第N個時間戳，并在所述預設數據集合中選取所述第N個時間戳所對應的數據，得到該OVER?AGGREGATE窗口的回撤數據；