[發明專利]一種數據處理方法及數據處理裝置

有效

• 申請號: 201710905216.6
• 申請日: 2017-09-28
• 公開（公告）號: CN109582470B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 陳玉萍
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06Q20/38;H04L51/046;H04L67/141;H04L67/143
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種數據處理方法，其特征在于，包括：

獲取目標消費主題；

判斷獲取的所述目標消費主題是否存在于預置的數據狀態記錄表中，其中，所述數據狀態記錄表中記錄有已消費的消費主題以及對應的消費記錄；

若存在，則在所述數據狀態記錄表中查找與所述目標消費主題對應的消費記錄，從消息隊列中獲取與所述目標消費主題對應的消費數據，并在所述數據狀態記錄表中更新所述目標消費主題所對應的消費記錄；

若不存在，則從所述消息隊列中依次獲取與所述目標消費主題對應的消費數據，并將所述目標消費主題的消費信息記錄入所述數據狀態記錄表中；

所述從消息隊列中獲取與所述目標消費主題對應的消費數據包括：

從所述消費記錄中獲取所述目標消費主題的分區信息及所述目標消費主題的偏移量信息；

根據所述目標消費主題的分區信息及所述偏移量信息確定所述目標消費主題的消費節點；

根據所述消費節點從所述消息隊列中獲取所述消費數據；

所述從消息隊列中獲取所述消費數據之后，對所述消費數據進行解析，得到所述消費數據的事件類型；

根據所述事件類型存儲所述消費數據至與所述事件類型相對應的數據庫中；

對所述數據狀態記錄表中存儲的分區信息進行刷新處理。

2.根據權利要求1所述的方法，其特征在于，所述消費記錄包括：所述已消費的消費主題的名稱、所述已消費的消費主題的分區信息和所述已消費的消費主題的偏移量。

3.根據權利要求1或2所述的方法，其特征在于，所述從所述消息隊列中依次獲取所述消費數據之后，所述方法還包括：

根據配置的時間間隔斷開與Kafka集群的連接，所述消息隊列保存在所述Kafka集群中。

4.一種數據處理裝置，其特征在于，包括：

獲取單元，用于獲取目標消費主題；

判斷單元，用于判斷獲取的所述目標消費主題是否存在于預置的數據狀態記錄表中，其中，所述數據狀態記錄表中記錄有已消費的消費主題以及對應的消費記錄；

第一獲取單元，用于當所述目標消費主題存在于所述數據狀態記錄表中時，在所述數據狀態記錄表中查找與所述目標消費主題對應的消費記錄，從消息隊列中獲取與所述目標消費主題對應的消費數據，并在所述數據狀態記錄表中更新所述目標消費主題所對應的消費記錄；

第二獲取單元，用于當所述目標消費主題不存在于所述數據狀態記錄表中時，從所述消息隊列中依次獲取與所述目標消費主題對應的消費數據，并將所述目標消費主題的消費信息記錄入所述數據狀態記錄表中；

解析單元，用于對消費數據進行解析，得到消費數據的事件類型；

存儲單元，用于根據事件類型存儲消費數據至與事件類型相對應的數據庫中；

刷新單元，用于對數據狀態記錄表中存儲的分區信息進行刷新處理；

所述第一獲取單元包括：

第一獲取子單元，用于從所述消費記錄中獲取所述目標消費主題的分區信息及所述目標消費主題的偏移量信息；

確定子單元，用于根據所述目標消費主題的分區信息及所述偏移量信息確定所述目標消費主題的消費節點；

第二獲取子單元，用于根據所述消費節點從所述消息隊列中獲取所述消費數據。

5.一種存儲介質，其上存儲有程序，該程序被處理器執行時實現如權利要求1至3任一項所述的數據處理方法。

6.一種處理器，所述處理器用于運行程序，其中，所述程序運行時執行如權利要求1至3任一項所述的數據處理方法。