[發明專利]數據處理方法、裝置、設備及存儲介質

有效

• 申請號: 202010494023.8
• 申請日: 2020-06-03
• 公開（公告）號: CN111639138B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 屈克;陳娜;郭寶林;寧偉鋒
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25;G06F16/2455;G06F16/242;G06F16/18
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;劉芳

本申請實施例提供一種數據處理方法、裝置、設備及存儲介質，該方法包括：獲取多條目標消息，所述多條目標消息是通過目標Kafka對多個數據源的消息數據進行格式統一處理得到的；對各條所述目標消息進行處理，得到各條所述目標消息對應的單個業務因子；根據所述單個業務因子，確定相應的所述目標消息是否是為用戶行為分析提供的實時有效數據；若所述目標消息是所述實時有效數據，則將所述單個業務因子對應的業務信息發送至目標系統，以使所述目標系統根據所述業務信息為相應的用戶提供業務服務。本申請實施例提供的方法能夠克服現有技術中無法滿足大規模數據應用而且無法保證數據同步的時效性的問題。

技術領域

本申請實施例涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、設備及存儲介質。

背景技術

隨著用戶規模的增加、產生數據量的快速增長，為應對激烈的市場競爭，運營商越來越依賴精確化的數據統計分析以實現科學管理和決策。

目前，由于各類業務數據呈現爆炸式的增長，信息的交互和溝通正在從傳統點對點的方式往信息鏈甚至信息網的方向發展，這樣必然帶來數據在各個維度的交叉關聯，其中，數據存儲的介質有數據庫、文件、消息流，因此，通過不同來源的各個維度數據進行數據分析。

但是由于不同介質的存儲形態和數據結構不同，異構的數據來源造成不同的數據無法聚合，同時，針對文件傳輸模式存在數據同步延遲長、數據丟失未入庫、全量同步消耗資源大等不足，進而無法滿足大規模數據應用而且數據同步的時效性無法保證。

發明內容

本申請實施例提供一種數據處理方法、裝置、設備及存儲介質，以克服現有技術中無法滿足大規模數據應用而且無法保證數據同步的時效性的問題。

第一方面，本申請實施例提供一種數據處理方法，包括：

獲取多條目標消息，所述多條目標消息是通過目標Kafka對多個數據源的消息數據進行格式統一處理得到的，所述目標Kafka為服務器中任一Kafka，所述多個數據源包括數據庫日志、接觸式文件、其他Kafka；

對各條所述目標消息進行處理，得到各條所述目標消息對應的單個業務因子；

根據所述單個業務因子，確定相應的所述目標消息是否是為用戶行為分析提供的實時有效數據；

若所述目標消息是所述實時有效數據，則將所述單個業務因子對應的業務信息發送至目標系統，以使所述目標系統根據所述業務信息為相應的用戶提供業務服務。

在一種可能的設計中，所述獲取多條目標消息，包括：

通過所述目標Kafka分別獲取數據庫日志的消息數據、接觸式文件的消息數據、其他Kafka中的消息數據并存儲至所述目標Kafka中的不同的主題文件；

通過所述目標Kafka對所述目標Kafka中不同的主題文件中的消息數據進行消息過濾，得到多條第一消息；

從所述目標Kafka中獲取通過所述目標Kafka對所述多條第一消息按照預設格式進行格式轉換得到的多條目標消息。

在一種可能的設計中，

所述對各條所述目標消息進行處理，得到各條所述目標消息對應的單個業務因子，包括：

對各條所述目標消息進行解析，得到各條所述目標消息中包含的所有字段；

針對每條所述目標消息，提取相應的所有字段對應的單個業務因子；

所述單個業務因子包括業務類型、產品、資費、時間、剩余量、位置變化、機型變化。

在一種可能的設計中，

所述根據所述單個業務因子，確定相應的所述目標消息是否是為用戶行為分析提供的實時有效數據，包括：