[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置及計算機設備

在審

• 申請?zhí)枺?/td>: 202011563032.4
• 申請日: 2020-12-25
• 公開（公告）號: CN112667614A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設計）人: 唐杰
• 申請（專利權）人: 大眾問問（北京）信息科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2457;G06F16/2458;G06F16/25;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實施例公開了一種數(shù)據(jù)處理方法、裝置及計算機設備。該方法包括：獲取待處理數(shù)據(jù)，將所述待處理數(shù)據(jù)添加至第一數(shù)據(jù)消息隊列；基于Flink實時處理框架采用流式數(shù)據(jù)處理方式處理所述第一數(shù)據(jù)消息隊列中的各所述待處理數(shù)據(jù)，得到隊列處理數(shù)據(jù)；將所述隊列處理數(shù)據(jù)添加至第二數(shù)據(jù)消息隊列；基于所述Flink實時處理框架對所述第二數(shù)據(jù)消息隊列中的各所述隊列處理數(shù)據(jù)進行實時數(shù)據(jù)處理。上述技術方案可以保證數(shù)據(jù)處理過程的一致性和實時性。

技術領域

本發(fā)明實施例涉及數(shù)據(jù)處理技術領域，尤其涉及一種數(shù)據(jù)處理方法、裝置及計算機設備。

背景技術

隨著互聯(lián)網(wǎng)的快速發(fā)展，存在越來越多的多元數(shù)據(jù)，而這些數(shù)據(jù)往往都具有實時性。在對大數(shù)據(jù)進行處理時，需要依托于分布式處理或分布式數(shù)據(jù)庫等技術，而在數(shù)據(jù)處理過程中保證數(shù)據(jù)的一致性和實時性始終是數(shù)據(jù)處理的重要議題。

目前，在數(shù)據(jù)處理領域，一般存在批量計算和實時流計算兩種任務類型。Flink是一個同時面向分布式實時流處理和批量數(shù)據(jù)處理的開源數(shù)據(jù)平臺，它能在基于同一個Flink實時處理框架運行時，提供支持流處理和批處理兩種類型任務的功能。在實時處理系統(tǒng)中確保數(shù)據(jù)一致性時，通常是需要對數(shù)據(jù)進行冪等性寫入操作或事務性寫入操作。其中，冪等性寫入操作在任意多次向一個系統(tǒng)寫入數(shù)據(jù)時，只對目標系統(tǒng)產(chǎn)生一次結果影響，但這種操作要求數(shù)據(jù)具有冪等性。事務性寫入操作結合了Flink的一致性檢查點Checkpoint機制來保證只對外部輸出產(chǎn)生一次影響，但只有經(jīng)過Checkpoint確認的數(shù)據(jù)才可以向外部寫入，由于Checkpoint之間存在一定的時間間隔，會降低數(shù)據(jù)的實時性。因此，如何基于Flink實時處理框架使數(shù)據(jù)在處理過程中保持一致性和實時性，是亟待解決的問題。

發(fā)明內容

本發(fā)明實施例提供一種數(shù)據(jù)處理方法、裝置及計算機設備，以保證數(shù)據(jù)處理過程的一致性和實時性。

第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)處理方法，包括：

獲取待處理數(shù)據(jù)，將所述待處理數(shù)據(jù)添加至第一數(shù)據(jù)消息隊列；

基于Flink實時處理框架采用流式數(shù)據(jù)處理方式處理所述第一數(shù)據(jù)消息隊列中的各所述待處理數(shù)據(jù)，得到隊列處理數(shù)據(jù)；

將所述隊列處理數(shù)據(jù)添加至第二數(shù)據(jù)消息隊列；

基于所述Flink實時處理框架對所述第二數(shù)據(jù)消息隊列中的各所述隊列處理數(shù)據(jù)進行實時數(shù)據(jù)處理。

第二方面，本發(fā)明實施例還提供了一種數(shù)據(jù)處理裝置，包括：

第一數(shù)據(jù)消息隊列生成模塊，設置為獲取待處理數(shù)據(jù)，將所述待處理數(shù)據(jù)添加至第一數(shù)據(jù)消息隊列；

隊列處理數(shù)據(jù)生成模塊，設置為基于Flink實時處理框架采用流式數(shù)據(jù)處理方式處理所述第一數(shù)據(jù)消息隊列中的各所述待處理數(shù)據(jù)，得到隊列處理數(shù)據(jù)；

第二數(shù)據(jù)消息隊列生成模塊，設置為將所述隊列處理數(shù)據(jù)添加至第二數(shù)據(jù)消息隊列；

實時數(shù)據(jù)處理模塊，設置為基于所述Flink實時處理框架對所述第二數(shù)據(jù)消息隊列中的各所述隊列處理數(shù)據(jù)進行實時數(shù)據(jù)處理。

第三方面，本發(fā)明實施例還提供了一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如本發(fā)明任意實施例所述的數(shù)據(jù)處理方法。

第四方面，本發(fā)明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明任意實施例所述的數(shù)據(jù)處理方法。