[發明專利]一種實時數據傳輸系統及其數據同步方法

有效

• 申請號: 201310566157.6
• 申請日: 2013-11-13
• 公開（公告）號: CN104639585B
• 公開（公告）日: 2019-01-08
• 發明（設計）人: 陳祺;汶林丁;吳悅
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 董文倩;褚敏

本發明適用于數據處理領域，提供了一種實時數據傳輸系統及其數據同步方法，所述方法包括：數據導入服務器在接收到數據同步指令時，通過傳輸代理模塊向數據適配器發送數據請求；數據適配器從數據源讀取數據，并將讀取的數據通過傳輸代理模塊發送至數據導入服務器；數據導入服務器從傳輸代理模塊接收數據，并將接收的數據導入在線服務模塊。本發明由于統一通過數據適配器從數據源讀取數據，通過傳輸代理模塊將數據適配器讀取的數據轉發至數據導入服務器，因此，在需要擴容時，只需要增加數據適配器和/或傳輸代理模塊，使得實時數據傳輸系統具有較好的擴展性，從而可以實現海量數據的同步。

技術領域

本發明屬于數據處理領域，尤其涉及一種實時數據傳輸系統及其數據同步方法。

背景技術

實時數據傳輸系統（也稱為實時數據傳輸平臺）具有高性能、實時性、順序性、高可靠性、高可用性、可擴展性等特點，因此廣泛應用于互聯網應用領域，如日志收集、數據監控、廣告反饋、量子統計、數據庫同步等。

現有的實時數據傳輸系統包括TimeTunnel等。TimeTunnel一般采用3臺服務器。在將TimeTunnel應用于淘寶網來處理數據時，3臺服務器每天處理的數據量約為2.3T，峰值約為每秒50Mb的流入流量，130Mb的流出流量。

現有的TimeTunnel由于擴展性受到限制，從而難以支持海量數據的處理。且由于TimeTunnel每臺服務器本身的峰值流出流量為350Mb，而在將TimeTunnel應用于淘寶網時，每臺服務器每秒的流出流量約為130Mb，因此，服務器帶寬利用率偏低。另外TimeTunnel不支持格式化數據的修復，因此數據傳輸的可靠性較低。

發明內容

本發明實施例提供一種實時數據傳輸系統及其數據同步方法，旨在解決現有的數據傳輸系統由于可擴展性受到限制而導致難以對海量數據進行處理的問題。

一方面，提供一種實時數據傳輸系統，包括第一互聯網數據中心和第二互聯網數據中心，所述第一互聯網數據中心包括數據源和至少一個數據適配器，所述第二互聯網數據中心包括至少一個傳輸代理模塊，至少一個數據導入服務器，以及與數據導入服務器連接的在線服務模塊；

其中所述數據適配器從所述數據源中讀取數據，并將讀取的數據通過所述傳輸代理模塊轉發至所述數據導入服務器，所述數據導入服務器將接收到的數據導入所述在線服務模塊。

另一方面，提供一種實時數據傳輸系統中的數據同步方法，所述方法包括：

數據導入服務器在接收到數據同步指令時，通過傳輸代理模塊向數據適配器發送數據請求；

數據適配器從數據源讀取數據，并將讀取的數據通過傳輸代理模塊發送至數據導入服務器；

數據導入服務器從傳輸代理模塊接收數據，并將接收的數據導入在線服務模塊。

在本發明實施例中，統一通過數據適配器從數據源讀取數據，通過傳輸代理模塊將數據適配器讀取的數據轉發至數據導入服務器，因此，在需要擴容時，只需要增加數據適配器和/或傳輸代理模塊，使得實時數據傳輸系統具有較好的擴展性，從而可以實現海量數據的同步。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發明實施例提供的實時數據傳輸系統的結構框圖；

圖2是本發明實施例提供的數據導入服務器的具體結構圖；

圖3是本發明另一實施例提供的實時數據傳輸系統的結構框圖；