[發明專利]一種數據處理方法、裝置、終端及存儲介質

有效

• 申請號: 202010761601.X
• 申請日: 2020-07-31
• 公開（公告）號: CN114070563B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 顧剛;李宏源
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: H04L9/32
• 分類號: H04L9/32;G06F9/54;G06F16/215
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 蔣雅潔;張穎玲

本申請實施例提供一種數據處理方法、裝置、終端及存儲介質，其中，所述方法包括：對待處理數據進行采集，將采集的數據寫入消息緩存隊列；如果消息緩存隊列中的數據滿足第一預設條件，將消息緩存隊列中具有第一消息ID的數據發送至數據處理服務器，以使數據處理服務器對所述數據進行處理生成第二消息ID；接收數據處理服務器發送的所述第二消息ID；對所述第一消息ID和所述第二消息ID進行異或操作，確定所述異或操作的值；如果所述異或操作的值滿足第二預設條件的數據的數量大于數量閾值，輸出告警信息，如此，可以提高數據采集過程中的數據完整性。

技術領域

本申請涉及大數據處理技術，涉及但不限于一種數據處理方法、裝置、終端及存儲介質。

背景技術

在實時數據采集和處理過程中要保證數據的完整性，主要是通過使用斷點續傳、空點補傳和接口運行狀態監控等方式，這樣，難以對數據采集端采集數據的完整性進行評估。

發明內容

為解決上述技術問題，本申請實施例提供了一種數據處理方法、裝置、終端及存儲介質，至少解決難以對數據采集端采集數據的完整性進行評估的問題。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種數據處理方法，所述方法包括：

對待處理數據進行采集，將采集的數據寫入消息緩存隊列；

如果所述消息緩存隊列中的數據滿足第一預設條件，將所述消息緩存隊列中具有第一消息標識(Identity?Document，ID)的數據發送至數據處理服務器，以使所述數據處理服務器對所述數據進行處理生成第二消息ID；

接收所述數據處理服務器發送的所述第二消息ID；

對所述第一消息ID和所述第二消息ID進行異或操作，確定所述異或操作的值；

如果所述異或操作的值滿足第二預設條件的數據的數量大于數量閾值，輸出告警信息。

本申請實施例提供一種數據處理裝置，所述裝置包括：

采集模塊，用于對待處理數據進行采集，將采集的數據寫入消息緩存隊列；

發送模塊，用于如果所述消息緩存隊列中的數據滿足第一預設條件，將所述消息緩存隊列中具有第一消息ID的數據發送至數據處理服務器，以使所述數據處理服務器對所述數據進行處理生成第二消息ID；

接收模塊，用于接收所述數據處理服務器發送的所述第二消息ID；

確定模塊，用于對所述第一消息ID和所述第二消息ID進行異或操作，確定所述異或操作的值；

輸出模塊，用于如果所述異或操作的值滿足第二預設條件的數據的數量大于數量閾值，輸出告警信息。

本申請實施例提供一種終端，所述終端至少包括：控制器和配置為存儲可執行指令的存儲介質，其中：

控制器配置為執行存儲的可執行指令，所述可執行指令配置為執行上述提供的數據處理方法。

本申請實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機可執行指令，所述計算機可讀存儲介質中存儲有計算機可執行指令，該計算機可執行指令配置為執行上述提供的數據處理方法。

本申請實施例提供一種數據處理方法、裝置、終端及存儲介質，通過將采集數據寫入消息緩存隊列，提高了數據采集的效率，將具有第一消息ID的數據進行處理，生成所述數據的第二消息ID，并對第一消息ID和第二消息ID進出異或操作，如果數據數量滿足異或操作的值的第二條件，則輸出告警信息，使得可以根據采集信息的消息ID之間進行異或操作的值，確定數據采集和處理過程中數據的完整性，并使得用戶可以根據告警信息對采集的數據進行重新采集等操作，以補償數據的完整性，提高了數據采集和處理過程中的數據完整度。