[發(fā)明專利]亂序數(shù)據(jù)處理方法、裝置、設(shè)備及可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010462883.3
• 申請日: 2020-05-27
• 公開（公告）號: CN111625527A
• 公開（公告）日: 2020-09-04
• 發(fā)明（設(shè)計）人: 盧子杰;王亮
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/242;G06F16/2455;G06F16/2458
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 張婷

1.一種亂序數(shù)據(jù)處理方法，其特征在于，所述亂序數(shù)據(jù)處理方法包括以下步驟：

基于預(yù)設(shè)流處理框架從消息隊列中讀取待處理數(shù)據(jù)，并判斷與所述待處理數(shù)據(jù)的生成時間匹配的時間窗口是否處于清除狀態(tài)；

若處于清除狀態(tài)，則判定所述待處理數(shù)據(jù)為亂序數(shù)據(jù)，基于所述預(yù)設(shè)流處理框架重新形成所述時間窗口，并讀取與所述時間窗口對應(yīng)的歷史清除數(shù)據(jù)，將所述歷史清除數(shù)據(jù)恢復(fù)到所述時間窗口；

基于所述預(yù)設(shè)流處理框架將所述待處理數(shù)據(jù)分配到所述時間窗口，與恢復(fù)到所述時間窗口內(nèi)的所述歷史清除數(shù)據(jù)進(jìn)行聚合，完成對亂序數(shù)據(jù)的處理。

2.如權(quán)利要求1所述的亂序數(shù)據(jù)處理方法，其特征在于，所述基于所述預(yù)設(shè)流處理框架將所述待處理數(shù)據(jù)分配到所述時間窗口，與恢復(fù)到所述時間窗口內(nèi)的所述歷史清除數(shù)據(jù)進(jìn)行聚合的步驟包括：

基于所述預(yù)設(shè)流處理框架將所述待處理數(shù)據(jù)分配到所述時間窗口，并對所述時間窗口添加延時時長；

判斷所述延時時長內(nèi)是否讀取到目標(biāo)待處理數(shù)據(jù)，其中，所述目標(biāo)待處理數(shù)據(jù)的生成時間與所述時間窗口匹配；

若讀取到所述目標(biāo)待處理數(shù)據(jù)，將所述目標(biāo)待處理數(shù)據(jù)分配到所述時間窗口，并在所述延時時長結(jié)束后，對所述時間窗口內(nèi)的各個數(shù)據(jù)進(jìn)行聚合。

3.如權(quán)利要求1所述的亂序數(shù)據(jù)處理方法，其特征在于，所述判斷與所述待處理數(shù)據(jù)的生成時間匹配的時間窗口是否處于清除狀態(tài)的步驟之后，所述方法還包括：

若與所述待處理數(shù)據(jù)的生成時間匹配的時間窗口處于未清除狀態(tài)，則將所述待處理數(shù)據(jù)分配到所述時間窗口，并判斷所述待處理數(shù)據(jù)的生成時間是否達(dá)到所述時間窗口的水位線；

若達(dá)到所述時間窗口的水位線，則對所述時間窗口內(nèi)的各個數(shù)據(jù)進(jìn)行聚合處理，生成處理結(jié)果存儲到預(yù)設(shè)數(shù)據(jù)庫。

4.如權(quán)利要求3所述的亂序數(shù)據(jù)處理方法，其特征在于，所述生成處理結(jié)果存儲到預(yù)設(shè)數(shù)據(jù)庫的步驟之后，所述方法還包括：

將所述時間窗口內(nèi)的所有數(shù)據(jù)傳輸?shù)剿鲱A(yù)設(shè)數(shù)據(jù)庫緩存，并在緩存成功后，清除所述時間窗口內(nèi)的所有數(shù)據(jù)；

調(diào)整所述時間窗口的水位線，以讀取所述消息隊列中新的待處理數(shù)據(jù)進(jìn)行聚合處理。

5.如權(quán)利要求4所述的亂序數(shù)據(jù)處理方法，其特征在于，所述將所述時間窗口內(nèi)的所有數(shù)據(jù)傳輸?shù)剿鲱A(yù)設(shè)數(shù)據(jù)庫緩存的步驟之后，所述方法還包括：

當(dāng)檢測到達(dá)所述預(yù)設(shè)數(shù)據(jù)庫的清理時間時，查找所述預(yù)設(shè)數(shù)據(jù)庫緩存的各項數(shù)據(jù)中的待刪除數(shù)據(jù)，并對所述待刪除數(shù)據(jù)進(jìn)行刪除操作。

6.如權(quán)利要求1-5任一項所述的亂序數(shù)據(jù)處理方法，其特征在于，所述判斷與所述待處理數(shù)據(jù)的生成時間匹配的時間窗口是否處于清除狀態(tài)的步驟包括：

讀取處于激活狀態(tài)的當(dāng)前時間窗口的窗口時間區(qū)間，并判斷所述待處理數(shù)據(jù)的生成時間是否位于所述窗口時間區(qū)間內(nèi)；

若位于所述窗口時間區(qū)間內(nèi)，則判定與所述待處理數(shù)據(jù)的生成時間匹配的時間窗口處于未清除狀態(tài)；

若不位于所述窗口時間區(qū)間內(nèi)，則判定與所述待處理數(shù)據(jù)的生成時間匹配的時間窗口處于清除狀態(tài)。

7.如權(quán)利要求1-5任一項所述的亂序數(shù)據(jù)處理方法，其特征在于，所述基于預(yù)設(shè)流處理框架從消息隊列中讀取待處理數(shù)據(jù)的步驟包括：

基于預(yù)設(shè)流處理框架從消息隊列中讀取單條數(shù)據(jù)，并調(diào)用預(yù)設(shè)函數(shù)從所述單條數(shù)據(jù)中提取出與預(yù)設(shè)字段對應(yīng)的數(shù)據(jù)；

將與預(yù)設(shè)字段對應(yīng)的數(shù)據(jù)確定為所述待處理數(shù)據(jù)。

8.一種亂序數(shù)據(jù)處理裝置，其特征在于，所述亂序數(shù)據(jù)處理裝置包括：

判斷模塊，用于基于預(yù)設(shè)流處理框架從消息隊列中讀取待處理數(shù)據(jù)，并判斷與所述待處理數(shù)據(jù)的生成時間匹配的時間窗口是否處于清除狀態(tài)；

恢復(fù)模塊，用于若處于清除狀態(tài)，則判定所述待處理數(shù)據(jù)為亂序數(shù)據(jù)，基于所述預(yù)設(shè)流處理框架重新形成所述時間窗口，并讀取與所述時間窗口對應(yīng)的歷史清除數(shù)據(jù)，將所述歷史清除數(shù)據(jù)恢復(fù)到所述時間窗口；

聚合模塊，用于基于所述預(yù)設(shè)流處理框架將所述待處理數(shù)據(jù)分配到所述時間窗口，與恢復(fù)到所述時間窗口內(nèi)的所述歷史清除數(shù)據(jù)進(jìn)行聚合，完成對亂序數(shù)據(jù)的處理。