[發明專利]基于Flink框架的數據處理方法、裝置及電子設備在審
| 申請號： | 202211682433.0 | 申請日： | 2022-12-26 |
| 公開（公告）號： | CN116028515A | 公開（公告）日： | 2023-04-28 |
| 發明（設計）人： | 周利;浦世亮;陳小龍 | 申請（專利權）人： | 杭州海康威視數字技術股份有限公司 |
| 主分類號： | G06F16/23 | 分類號： | G06F16/23;G06F16/2458;G06F16/27;G06F16/2455 |
| 代理公司： | 北京柏杉松知識產權代理事務所(普通合伙) 11413 | 代理人： | 丁蕓;馬敬 |
| 地址： | 310051 浙*** | 國省代碼： | 浙江;33 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 flink 框架 數據處理 方法 裝置 電子設備 | ||
1.一種基于Flink框架的數據處理方法，其特征在于，所述Flink框架包括至少一個OVER?AGGREGATE窗口，所述方法包括：
獲取待處理的第一數據和所述第一數據對應的第一時間戳；
將所述第一數據緩存至預設數據集合中，并將所述第一時間戳緩存至有序時間隊列中，其中，所述有序時間隊列中的數據按照數據時間先后的順序進行排列；
當所述預設數據集合中數據的數量超過預設數量時，在所述有序時間隊列中選取最前端的時間戳，得到第二時間戳，其中，所述預設數量根據所述OVER?AGGREGATE窗口的窗口大小確定，所述OVER?AGGREGATE窗口的窗口大小表示所述OVER?AGGREGATE窗口每次處理的數據的數量；
在所述預設數據集合中刪除所述第二時間戳對應的數據；
通過所述OVER?AGGREGATE窗口對所述預設數據集合中的數據進行處理，得到當前的數據處理結果。
2.根據權利要求1所述的方法，其特征在于，
在所述Flink框架包括一個OVER?AGGREGATE窗口的情況下，所述預設數量為該OVERAGGREGATE窗口的窗口大小；
在所述Flink框架包括多個OVER?AGGREGATE窗口的情況下，所述預設數量為窗口大小最大的OVER?AGGREGATE窗口的窗口大小。
3.根據權利要求1所述的方法，其特征在于，所述通過所述OVER?AGGREGATE窗口對所述預設數據集合中的數據進行處理，得到數據處理結果，包括：
針對任一個OVER?AGGREGATE窗口，在所述預設數據集合中數據的數量大于該OVERAGGREGATE窗口的窗口大小的情況下，計算所述預設數據集合中數據的數量與該OVERAGGREGATE窗口的窗口大小的差值N；
從所述有序時間隊列中的前端選取第N個時間戳，并在所述預設數據集合中選取所述第N個時間戳所對應的數據，得到該OVER?AGGREGATE窗口的回撤數據；
獲取該OVER?AGGREGATE窗口最后一次輸出的數據處理結果，根據所述最后一次輸出的數據處理結果、所述回撤數據及所述第一數據，得到該OVER?AGGREGATE窗口當前的數據處理結果。
4.根據權利要求1所述的方法，其特征在于，所述方法還包括：
當所述第一時間戳過期時，將所述第一數據及所述第一時間戳刪除；
所述將所述第一數據緩存至預設數據集合中，并將所述第一時間戳緩存至有序時間隊列中，包括：
當所述第一時間戳未過期時，將所述第一數據緩存至預設數據集合中，并將所述第一時間戳緩存至有序時間隊列中。
5.根據權利要求1所述的方法，其特征在于，在所述通過所述OVER?AGGREGATE窗口對所述預設數據集合中的數據進行處理，得到當前的數據處理結果之后，所述方法還包括：
針對每一個OVER?AGGREGATE窗口，將該OVER?AGGREGATE窗口的標識作為關鍵字，將該OVER?AGGREGATE窗口的數據處理結果作為數據值，組成鍵值對；并將各所述OVERAGGREGATE窗口的鍵值對添加到同一個RowData數據中，得到當前聚合結果。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于杭州海康威視數字技術股份有限公司，未經杭州海康威視數字技術股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202211682433.0/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：高適配性冷縮管制備加工方法
- 下一篇：天線結構和智能可穿戴設備
