[發明專利]通信數據同步及處理方法和系統

有效

• 申請號: 201911241054.6
• 申請日: 2019-12-06
• 公開（公告）號: CN111107137B
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 唐煉鋒
• 申請（專利權）人: 攜程旅游信息技術（上海）有限公司
• 主分類號: H04L67/1095
• 分類號: H04L67/1095;H04L67/1097;G06F16/27;G06F16/22;G06F9/54
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

本發明公開了一種通信數據同步及處理方法和系統。方法包括：通過Hadoop的ZEUS工具主動拉取通信系統數據并直接同步至Hive，或，通過HTTP接口被動接收通信系統數據并存儲到消息中間件，再通過ZEUS工具將消息中間件中的通信系統數據同步至Hive；將不同類型的通信系統數據分別存儲到Hive中不同的表中；通過Spark對Hive中的通信系統數據進行分布式計算處理。本發明采用分布式非關系型數據庫和分布式計算框架，突破常規關系型數據庫的同步、存儲和數據處理瓶頸，可以輕松應對幾個千萬級別表的關聯查詢及其他運算，提升了在海量數據的場景下系統的處理能力和效率。

技術領域

本發明屬于大數據技術領域，尤其涉及一種通信數據同步及處理方法和系統。

背景技術

在當前的通信領域，通信系統每時每刻都在產生大量的通信數據，特別是擁有呼叫中心系統的企業，每天產生的通信數據是巨大的。例如話務記錄、短信記錄等。這就對后續數據處理帶來很大的挑戰。

常規關系型數據庫在達到千萬級別記錄時，查詢性能就開始大幅下降，嚴重影響了調用方的使用效率，在同步、存儲和數據處理方面均存在瓶頸。

發明內容

本發明要解決的技術問題是為了克服現有技術中使用關系型數據庫在同步、存儲和數據處理方面存在的瓶頸，提供一種通信數據同步及處理方法和系統。

本發明是通過下述技術方案來解決上述技術問題：

一種通信數據同步及處理方法，包括：

通過Hadoop(一種分布式系統基礎架構)的ZEUS工具(一種調度工具)主動拉取通信系統數據并直接同步至Hive(基于Hadoop的一個數據倉庫)，或，通過HTTP接口被動接收通信系統數據并存儲到消息中間件，再通過ZEUS工具將所述消息中間件中的通信系統數據同步至Hive；

將不同類型的通信系統數據分別存儲到Hive中不同的表中；

通過Spark(一種計算引擎)對Hive中的通信系統數據進行分布式計算處理，將處理結果保存至MySQL(關系型數據庫)中。

較佳地，Hive按時間進行分片存儲。

較佳地，所述不同類型的通信系統數據至少包括中繼類數據和業務類數據；Hive中不同的表至少包括用于存儲所述中繼類數據的中繼記錄表和用于存儲所述業務類數據的業務記錄表。

較佳地，所述通信系統數據由呼叫中心系統產生。

一種通信數據同步及處理系統，包括：

第一數據同步模塊或第二數據同步模塊；所述第一數據同步模塊用于通過Hadoop的ZEUS工具主動拉取通信系統數據并直接同步至Hive；所述第二數據同步模塊用于通過HTTP接口被動接收通信系統數據并存儲到消息中間件，再通過ZEUS工具將所述消息中間件中的通信系統數據同步至Hive；以及，

數據存儲模塊，用于將不同類型的通信系統數據分別存儲到Hive中不同的表中；

數據處理模塊，用于通過Spark對Hive中的通信系統數據進行分布式計算處理，將處理結果保存至MySQL中。

較佳地，Hive按時間進行分片存儲。

較佳地，所述不同類型的通信系統數據至少包括中繼類數據和業務類數據；Hive中不同的表至少包括用于存儲所述中繼類數據的中繼記錄表和用于存儲所述業務類數據的業務記錄表。

較佳地，所述通信系統數據由呼叫中心系統產生。

在符合本領域常識的基礎上，上述各優選條件，可任意組合，即得本發明各較佳實例。