[發明專利]一種數據處理方法、裝置及計算機設備

在審

• 申請號: 202011563032.4
• 申請日: 2020-12-25
• 公開（公告）號: CN112667614A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 唐杰
• 申請（專利權）人: 大眾問問（北京）信息科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2457;G06F16/2458;G06F16/25;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數據處理方法，其特征在于，包括：

獲取待處理數據，將所述待處理數據添加至第一數據消息隊列；

基于Flink實時處理框架采用流式數據處理方式處理所述第一數據消息隊列中的各所述待處理數據，得到隊列處理數據；

將所述隊列處理數據添加至第二數據消息隊列；

基于所述Flink實時處理框架對所述第二數據消息隊列中的各所述隊列處理數據進行實時數據處理。

2.根據權利要求1所述的方法，其特征在于，所述將所述待處理數據添加至第一數據消息隊列，包括：

確定所述待處理數據對應的第一目標分區序號和第一目標分區位置；

根據所述第一目標分區序號和所述第一目標分區位置將所述待處理數據添加至所述第一數據消息隊列中的第一目標數據分區。

3.根據權利要求2所述的方法，其特征在于，所述基于Flink實時處理框架采用流式數據處理方式處理所述第一數據消息隊列中的各所述待處理數據，包括：

確定當前數據分區對應的當前分區序號以及第一數據處理進度標識；

根據所述當前分區序號以及所述第一數據處理進度標識確定當前待處理數據；

基于所述Flink實時處理框架實時處理所述當前待處理數據。

4.根據權利要求3所述的方法，其特征在于，所述基于所述Flink實時處理框架實時處理所述當前待處理數據，包括：

基于所述Flink實時處理框架對所述當前待處理數據實時轉化為目標指向性數據。

5.根據權利要求2-4任一所述的方法，其特征在于，所述將所述隊列處理數據添加至第二數據消息隊列，包括：

確定所述隊列處理數據對應的第二目標分區序號和第二數據處理進度標識；

根據所述第二目標分區序號和所述第二數據處理進度標識確定所述隊列處理數據在所述第二目標分區序號中的第二目標分區位置；

根據所述第二目標分區序號和所述第二目標分區位置將所述隊列處理數據添加至所述第二數據消息隊列中的第二目標數據分區。

6.根據權利要求1所述的方法，其特征在于，在所述基于Flink實時處理框架處理所述第一數據消息隊列中的各所述待處理數據之前，還包括：

讀取所述第一數據消息隊列中的各所述待處理數據；

將各所述待處理數據存儲至分布式文件系統。

7.根據權利要求1所述的方法，其特征在于，在所述對所述第二數據消息隊列中的各所述隊列處理數據進行實時數據處理之后，還包括：

從所述第二數據消息隊列中讀取各所述隊列處理數據，并存儲至靜態數據庫；所述靜態數據庫用于對各所述隊列處理數據進行批量數據處理；

將實時數據處理結果和批量數據處理結果存儲到結果數據庫；或

從所述第二數據消息隊列中讀取各所述隊列處理數據，并通過預設接口發送至目標應用程序。

8.一種數據處理裝置，其特征在于，包括：

第一數據消息隊列生成模塊，設置為獲取待處理數據，將所述待處理數據添加至第一數據消息隊列；

隊列處理數據生成模塊，設置為基于Flink實時處理框架采用流式數據處理方式處理所述第一數據消息隊列中的各所述待處理數據，得到隊列處理數據；

第二數據消息隊列生成模塊，設置為將所述隊列處理數據添加至第二數據消息隊列；

實時數據處理模塊，設置為基于所述Flink實時處理框架對所述第二數據消息隊列中的各所述隊列處理數據進行實時數據處理。

9.根據權利要求8所述的裝置，其特征在于，所述第一數據消息隊列生成模塊，具體設置為：

確定所述待處理數據對應的第一目標分區序號和第一目標分區位置；

根據所述第一目標分區序號和所述第一目標分區位置將所述待處理數據添加至所述第一數據消息隊列中的第一目標數據分區。

10.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7中任一所述的數據處理方法。