[發明專利]一種數據處理方法及系統

在審

• 申請號: 202210969596.0
• 申請日: 2022-08-12
• 公開（公告）號: CN115048418A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 羅國帝
• 申請（專利權）人: 深圳市必凡娛樂科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F9/54;H04L67/06
• 代理公司: 深圳鍇權知識產權代理事務所(普通合伙) 44825
• 代理人: 張巍

本申請涉及一種數據處理方法及系統，涉及數據處理的技術領域，其方法包括在接收到數據時，根據所述數據所屬的業務場景類型將所述數據發送至所述業務場景類型中的Redis列隊進行攢批；在所述Redis列隊攢批結束時，取出Redis列隊中的所有數據并將Redis列隊當前攢批的所有數據清空使得所述Redis列隊能夠重新用于攢批數據；基于取出的所有數據生成JSON文件；將所述JSON文件上傳至云服務平臺并獲取所述云服務平臺反饋的上傳結果，在所述JSON文件上傳成功時獲取所述JSON文件所對應的網絡地址；以及，將所述網絡地址加入消息隊列并發送至需要消費的客戶端進行監聽并消費。本申請具有更好地實現數據的流批處理的效果。

技術領域

本申請涉及數據處理的技術領域，尤其是涉及一種數據處理方法。

背景技術

隨著社會的不斷進步和發展，計算機的應用越來越廣泛，所處理的數據量越來越大。

數據批處理，一個是表示一次性執行一批數據的處理邏輯。數據的流處理，是指的把數據轉換成數據流格式進行傳輸和處理。目前，對流式數據進行攢批的場景很多，現有技術中，對流式數據進行攢批時穩定性較差，不利于數據的處理。如何更好地實現數據的流批處理是需要攻克的技術難點。

發明內容

為了更好地實現數據的流批處理，本申請提供了一種數據處理方法及系統。

第一方面，本申請提供的一種數據處理方法采用如下的技術方案。

一種數據處理方法，包括：

在接收到數據時，根據所述數據所屬的業務場景類型將所述數據發送至所述業務場景類型中的Redis列隊進行攢批；

在所述Redis列隊攢批結束時，取出Redis列隊中的所有數據并將Redis列隊當前攢批的所有數據清空使得所述Redis列隊能夠重新用于攢批數據；

基于取出的所有數據生成JSON文件；

將所述JSON文件上傳至云服務平臺并獲取所述云服務平臺反饋的上傳結果，在所述JSON文件上傳成功時獲取所述JSON文件所對應的網絡地址；以及，

將所述網絡地址加入消息隊列并發送至需要消費的客戶端進行監聽并消費；所述客戶端根據所述消息隊列中的所述網絡地址拉取所述云服務平臺中保存的JSON文件，解析并消費。

通過采用上述技術方案，在處理器接受到新的數據時，處理器根據數據所屬的業務場景類型將數據發送至業務場景類型中的Redis列隊進行攢批；在Redis列隊攢批結束時，取出Redis列隊中的所有數據；處理器基于取出的所有數據生成JSON文件；處理器將生成的JSON文件上傳至云服務平臺后同步獲取云服務平臺反饋的結果，在在JSON文件上傳成功時獲取JSON文件所對應的網絡地址；處理器將網絡地址加入消息隊列并發送至需要消費這些數據的客戶端進行監聽并消費；客戶端獲取消息隊列后根據消息隊列中的網絡地址拉取云服務平臺中保存的JSON文件，解析并消費；通過上述設置，統一實現了流轉批處理的技術場景，能夠更好地實現數據的流批處理。

可選的，判斷所述Redis列隊攢批是否結束的方法包括：

在Redis列隊接收到數據時，對Redis列隊中的數據數進行累加得到數據量總和；以及，

判斷所述數據量總和是否大于預設數目；如果是，則判定所述Redis列隊攢批已經結束。

可選的，判斷所述Redis列隊攢批是否結束的方法還包括：

在Redis列隊接收到數據時，記錄最近接收的數據的時刻；

判斷在預設時長內是否接收到下一數據；如果否，則判定所述Redis列隊攢批已經結束。

可選的，所述客戶端根據所述消息隊列中的所述網絡地址拉取所述云服務平臺中保存的JSON文件，解析并消費，包括：

基于dataFlow提供的API監聽所述消息隊列中的批處理消息；