[發(fā)明專利]一種基于flink框架的數(shù)據(jù)處理方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010871127.6
• 申請(qǐng)日: 2020-08-26
• 公開（公告）號(hào): CN113742004A
• 公開（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 曹建奇
• 申請(qǐng)（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F9/448
• 分類號(hào): G06F9/448
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 郝紅玉;馮培培

1.一種基于flink框架的數(shù)據(jù)處理方法，其特征在于，包括：

flink框架中的窗口在接收到數(shù)據(jù)后，調(diào)用觸發(fā)器中處理數(shù)據(jù)的方法，獲取當(dāng)前觸發(fā)計(jì)算操作的觸發(fā)狀態(tài)；其中，一個(gè)窗口算子中配置一個(gè)觸發(fā)器；

若所述觸發(fā)狀態(tài)為觸發(fā)，則從窗口算子中調(diào)用業(yè)務(wù)處理邏輯處理所述數(shù)據(jù)，并將本次處理結(jié)果匯總至歷史處理結(jié)果中，得到匯總結(jié)果；

在到達(dá)定時(shí)器的時(shí)間后，基于預(yù)定方式將所述匯總結(jié)果傳輸至下游算子。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在從窗口算子中調(diào)用業(yè)務(wù)處理邏輯處理所述數(shù)據(jù)之前，還包括：

利用flink框架確定所述數(shù)據(jù)所處維度，以將所述數(shù)據(jù)劃分至與所述維度對(duì)應(yīng)的窗口內(nèi)，并將所述窗口的鍵名作為所述數(shù)據(jù)的鍵名；

從觸發(fā)器中獲取觸發(fā)處理時(shí)間的時(shí)間戳，結(jié)合所述鍵名、上下文對(duì)象和收集器信息一同存儲(chǔ)至所述窗口的所述窗口算子中；

所述從窗口算子中調(diào)用業(yè)務(wù)處理邏輯處理所述數(shù)據(jù)，包括：

從所述窗口算子中獲取所述鍵名、所述觸發(fā)處理時(shí)間的時(shí)間戳、所述上下文對(duì)象和所述收集器信息，并調(diào)用所述定時(shí)器觸發(fā)時(shí)的處理方法進(jìn)行處理。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在到達(dá)定時(shí)器的時(shí)間后，基于預(yù)定方式將所述匯總結(jié)果傳輸至下游算子，包括：

將所述匯總結(jié)果存儲(chǔ)至上下文對(duì)象中，當(dāng)?shù)竭_(dá)定時(shí)器的時(shí)間后，調(diào)用窗口算子中與所述時(shí)間對(duì)應(yīng)的處理時(shí)間方法；

在調(diào)用所述處理時(shí)間方法的過程中，調(diào)用觸發(fā)器中與所述處理時(shí)間方法對(duì)應(yīng)的處理時(shí)間方法，得到觸發(fā)發(fā)送匯總結(jié)果操作的觸發(fā)狀態(tài)；

若觸發(fā)狀態(tài)為真，則從上下文對(duì)象中獲取所述匯總結(jié)果并傳輸至下游算子，若觸發(fā)狀態(tài)為假則不處理。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述在到達(dá)定時(shí)器的時(shí)間后，基于預(yù)定方式將所述匯總結(jié)果傳輸至下游算子之前，還包括：判斷歷史數(shù)據(jù)是否為空，若為空，則確定所述數(shù)據(jù)為窗口接收的第一條數(shù)據(jù)，觸發(fā)觸發(fā)器在上下文對(duì)象中注冊(cè)一個(gè)定時(shí)器；以及

在所述從上下文對(duì)象中獲取所述匯總結(jié)果并傳輸至下游算子之后，還包括：觸發(fā)觸發(fā)器在上下文對(duì)象中重新注冊(cè)一個(gè)定時(shí)器。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在到達(dá)定時(shí)器的時(shí)間后，基于預(yù)定方式將所述匯總結(jié)果傳輸至下游算子，包括：

組合所述窗口的維度和所述數(shù)據(jù)的維度生成標(biāo)識(shí)，基于所述標(biāo)識(shí)對(duì)所述匯總結(jié)果進(jìn)行打標(biāo)處理；

將打標(biāo)后的匯總結(jié)果傳輸至處理算子中，以在所述處理算子中將與所述標(biāo)識(shí)對(duì)應(yīng)的歷史匯總結(jié)果更換為所述匯總結(jié)果，并在到達(dá)定時(shí)器的時(shí)間后，將所述匯總結(jié)果傳輸至所述下游算子。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述在所述處理算子中將與所述標(biāo)識(shí)對(duì)應(yīng)的歷史匯總結(jié)果更換為所述匯總結(jié)果，還包括：

判斷是否存在歷史匯總結(jié)果，若不存在，則確定所述匯總結(jié)果為所述處理算子接收到的第一個(gè)匯總結(jié)果，在所述處理算子的上下文對(duì)象中注冊(cè)一個(gè)定時(shí)器；以及

在所述將所述匯總結(jié)果傳輸至所述下游算子之后，還包括：在所述處理算子的上下文對(duì)象中重新注冊(cè)一個(gè)定時(shí)器。

7.一種基于flink框架的數(shù)據(jù)處理裝置，其特征在于，包括：

接收模塊，用于flink框架中的窗口在接收到數(shù)據(jù)后，調(diào)用觸發(fā)器中處理數(shù)據(jù)的裝置，獲取當(dāng)前觸發(fā)計(jì)算操作的觸發(fā)狀態(tài)；其中，一個(gè)窗口算子中配置一個(gè)觸發(fā)器；

處理模塊，用于若所述觸發(fā)狀態(tài)為觸發(fā)，則從窗口算子中調(diào)用業(yè)務(wù)處理邏輯處理所述數(shù)據(jù)，并將本次處理結(jié)果匯總至歷史處理結(jié)果中，得到匯總結(jié)果；

傳輸模塊，用于在到達(dá)定時(shí)器的時(shí)間后，基于預(yù)定方式將所述匯總結(jié)果傳輸至下游算子。