[發明專利]亂序數據處理方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202010462883.3
• 申請日: 2020-05-27
• 公開（公告）號: CN111625527A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 盧子杰;王亮
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/242;G06F16/2455;G06F16/2458
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 張婷

本發明公開了一種亂序數據處理方法、裝置、設備及可讀存儲介質，該方法包括：基于預設流處理框架從消息隊列中讀取待處理數據，并判斷與待處理數據的生成時間匹配的時間窗口是否處于清除狀態；若處于清除狀態，則判定待處理數據為亂序數據，基于預設流處理框架重新形成時間窗口，并讀取與時間窗口對應的歷史清除數據，將所述清除數據恢復到所述時間窗口；基于預設流處理框架將待處理數據分配到時間窗口，與恢復到時間窗口內的歷史清除數據進行聚合，完成對亂序數據的處理。本發明通過將歷史清除數據恢復到時間窗口，并將確定為亂序數據的待處理數據分配到時間窗口，與恢復的歷史清除數據進行聚合，確保了實時計算過程中數據的全面準確統計。

技術領域

本發明涉及金融科技(Fintech)技術領域，尤其涉及一種亂序數據處理方法、裝置、設備及可讀存儲介質。

背景技術

隨著金融科技(Fintech)，尤其是互聯網科技金融的不斷發展，越來越多的技術(如人工智能、大數據、云存儲等)應用在金融領域，但金融領域也對各類技術提出了更高的要求，如要求實時計算過程中對大量數據的準確統計等。

當前實時計算的場景中，數據亂序是很常見的問題，亂序數據的處理準確，對數據統計的準確性有重大影響。而Flink框架因高效的處理特性而廣泛應用于實時計算場景中，其將數據分配到窗口，通過窗口的狀態管理來實現數據統計。但是Flink框架對于亂序數據，會進行丟棄，如此一來，導致所統計的數據具有不準確性。

因此，如何依賴Flink框架對實時計算過程中的亂序數據進行準確統計是當前亟待解決的技術問題。

發明內容

本發明的主要目的在于提供一種亂序數據處理方法、裝置、設備及可讀存儲介質，旨在解決現有技術中如何依賴Flink框架對實時計算過程中的亂序數據進行準確統計的技術問題。

為實現上述目的，本發明提供一種亂序數據處理方法，所述亂序數據處理方法包括以下步驟：

基于預設流處理框架從消息隊列中讀取待處理數據，并判斷與所述待處理數據的生成時間匹配的時間窗口是否處于清除狀態；

若處于清除狀態，則判定所述待處理數據為亂序數據，基于所述預設流處理框架重新形成所述時間窗口，并讀取與所述時間窗口對應的歷史清除數據，將所述歷史清除數據恢復到所述時間窗口；

基于所述預設流處理框架將所述待處理數據分配到所述時間窗口，與恢復到所述時間窗口內的所述歷史清除數據進行聚合，完成對亂序數據的處理。

可選地，所述基于所述預設流處理框架將所述待處理數據分配到所述時間窗口，與恢復到所述時間窗口內的所述歷史清除數據進行聚合的步驟包括：

基于所述預設流處理框架將所述待處理數據分配到所述時間窗口，并對所述時間窗口添加延時時長；

判斷所述延時時長內是否讀取到目標待處理數據，其中，所述目標待處理數據的生成時間與所述時間窗口匹配；

若讀取到所述目標待處理數據，將所述目標待處理數據分配到所述時間窗口，并在所述延時時長結束后，對所述時間窗口內的各個數據進行聚合。

可選地，所述判斷與所述待處理數據的生成時間匹配的時間窗口是否處于清除狀態的步驟之后，所述方法還包括：

若與所述待處理數據的生成時間匹配的時間窗口處于未清除狀態，則將所述待處理數據分配到所述時間窗口，并判斷所述待處理數據的生成時間是否達到所述時間窗口的水位線；

若達到所述時間窗口的水位線，則對所述時間窗口內的各個數據進行聚合處理，生成處理結果存儲到預設數據庫。

可選地，所述生成處理結果存儲到預設數據庫的步驟之后，所述方法還包括：