[發明專利]數據處理方法、裝置、電子設備和計算機可讀存儲介質

有效

• 申請號: 202110497751.9
• 申請日: 2021-05-08
• 公開（公告）號: CN112988429B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 陳佛林;高斌
• 申請（專利權）人: 成都新希望金融信息有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 蔣姍

本申請提供了一種數據處理方法、裝置、電子設備和計算機可讀存儲介質，其中，該方法包括：將當前消息寫入對應的數據存儲表中；使用一個處理線程或多個處理線程將該數據存儲表中的消息進行處理；通過消費線程按照身份標識的優先級從高到低，從該數據存儲表獲取已處理數據；在該消費線程讀取成功該已處理數據后，將讀取成功的該已處理數據標記成已消費數據。能夠在保持數據的順序消費的情況下，還能夠提高數據處理效率。

技術領域

本申請涉及數據處理技術領域，具體而言，涉及一種數據處理方法、裝置、電子設備和計算機可讀存儲介質。

背景技術

目前生產者與消費者的數據處理模式被業務系統廣泛應用，基于生產者和消費者模式的數據處理需求，產生了各種類型的消息隊列協議，例如，RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq，以及一些基于數據庫、REDIS、ZOOKEEPER等實現的消息隊列。但是上述消息隊列都是基于先進先出的規則，實現按順序處理消息，以及按順序消費消息。但是此種模式消息處理的效率相對低，無法滿足一些更復雜場景的需求。

發明內容

本申請的目的在于提供一種數據處理方法、裝置、電子設備和計算機可讀存儲介質，能夠解決數據處理效率低的問題。

第一方面，本發明提供一種數據處理方法，包括：

將當前消息寫入對應的數據存儲表中；

使用一個處理線程或多個處理線程將所述數據存儲表中的消息進行處理，并將處理得到的已處理數據存入所述數據存儲表中；

通過消費線程按照身份標識的優先級從高到低，從所述數據存儲表獲取已處理數據；

在所述消費線程讀取成功所述已處理數據后，將讀取成功的所述已處理數據標記成已消費數據。

在可選的實施方式中，所述將當前消息寫入對應的數據存儲表中，包括：

根據當前消息的當前消息身份標識確定出所述當前消息所屬的第一消息分區；

將所述當前消息身份標識寫入所述第一身份標識表中所述第一消息分區對應的位置；

將所述當前消息寫入所述第一消息分區對應的數據存儲表中。

在上述實施方式中，通過將各條消息按照各條消息的身份標識進行分區存儲，可以方便在數據處理階段能夠基于分區，將數據進行并發處理，以提高數據處理的效率。

在可選的實施方式中，所述使用一個處理線程或多個處理線程將所述數據存儲表中的消息進行處理，并將處理得到的已處理數據存入所述數據存儲表中，包括：

從所述第一身份標識表中獲取待處理身份標識；

根據所述待處理身份標識，確定出所述待處理身份標識對應的第二消息分區；

從所述數據存儲表中所述第二消息分區對應的位置中獲取所述待處理身份標識對應的待處理消息；

對所述待處理消息按照設定處理邏輯進行處理；

若對所述待處理消息處理成功，則基于所述待處理身份標識對第二身份標識表進行更新，并將所述待處理身份標識對應的已處理數據寫入所述第二消息分區對應的數據存儲表中。

在上述實施方式中，通過建立兩個身份標識表第一身份標識表和第二身份標識表，可實現將不同狀態的數據的身份標識能夠分表存儲，能夠實現有序數據處理，以及數據消費，減少重復處理數據，或數據未被處理就進入消費階段的情況。

在可選的實施方式中，所述通過消費線程按照身份標識的優先級從高到低，從所述數據存儲表獲取已處理數據，包括：