[發明專利]一種實時數據傳輸系統及其數據同步方法

有效

• 申請號: 201310566157.6
• 申請日: 2013-11-13
• 公開（公告）號: CN104639585B
• 公開（公告）日: 2019-01-08
• 發明（設計）人: 陳祺;汶林丁;吳悅
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 董文倩;褚敏

1.一種實時數據傳輸系統，包括第一互聯網數據中心和第二互聯網數據中心，其特征在于，所述第一互聯網數據中心包括數據源和至少一個數據適配器，所述第二互聯網數據中心包括至少一個傳輸代理模塊，至少一個數據導入服務器，以及與數據導入服務器連接的在線服務模塊；

其中所述數據適配器從所述數據源中讀取數據，并將讀取的數據通過所述傳輸代理模塊轉發至所述數據導入服務器，所述數據導入服務器將接收到的數據導入所述在線服務模塊。

2.如權利要求1所述的實時數據傳輸系統，其特征在于，所述數據適配器還用于在從所述數據源讀取到數據后，計算讀取到的數據的差錯校驗碼，并將讀取到的數據以及所述數據的差錯校驗碼通過所述傳輸代理模塊發送至所述數據導入服務器。

3.如權利要求2所述的實時數據傳輸系統，其特征在于，所述數據導入服務器還用于在接收到數據以及所述數據的差錯校驗碼時，采用所述數據的差錯校驗碼對接收到的數據進行驗證，并將差錯校驗成功的數據導入所述在線服務模塊。

4.如權利要求3所述的實時數據傳輸系統，其特征在于，所述數據導入服務器還用于采用所述數據的差錯校驗碼對接收到的數據進行驗證后，若驗證失敗，記錄校驗失敗信息，其中所述校驗失敗信息包括文件級失敗信息和/或記錄級失敗信息。

5.如權利要求4所述的實時數據傳輸系統，其特征在于，所述數據導入服務器還用于在一個同步任務完成后，根據所述校驗失敗信息對同步失敗的數據進行修復。

6.如權利要求1至5任一權利要求所述的實時數據傳輸系統，其特征在于，所述數據導入服務器包括：

緩存，用于存儲文件的多條記錄；

數據傳輸子模塊，用于在所述緩存還未寫滿時，通過所述傳輸代理模塊從所述數據適配器獲取數據，并將獲取的數據緩存至所述緩存；

數據導入子模塊，用于在所述緩存中存在數據時，將所述緩存中的數據導入所述在線服務模塊中。

7.如權利要求6所述的實時數據傳輸系統，其特征在于，所述數據傳輸子模塊采用并發寫入方式將獲取的數據緩存至所述緩存，所述數據導入子模塊采用并發讀取方式將所述緩存中的數據導入所述在線服務模塊中。

8.如權利要求1至5任一權利要求所述的實時數據傳輸系統，其特征在于，所述系統還包括：

校驗服務器，用于在接收到數據校驗指令時，分別從所述數據源以及所述在線服務模塊中獲取數據，并將獲取到的數據進行對比，以對導入至所述在線服務模塊中的數據進行校驗。

9.一種實時數據傳輸系統中的數據同步方法，其特征在于，所述方法包括：

至少一個數據導入服務器在接收到數據同步指令時，通過至少一個傳輸代理模塊向至少一個數據適配器發送數據請求；

至少一個數據適配器從數據源讀取數據，并將讀取的數據通過至少一個傳輸代理模塊發送至至少一個數據導入服務器；

至少一個數據導入服務器從至少一個傳輸代理模塊接收數據，并將接收的數據導入在線服務模塊。

10.如權利要求9所述的數據同步方法，其特征在于，所述數據導入服務器在接收到數據同步指令時，通過傳輸代理模塊向數據適配器發送數據請求包括：

數據導入服務器在接收到數據同步指令時，從預先存儲的可用傳輸代理模塊列表中選擇一個傳輸代理模塊，從預先存儲的可用數據適配器列表中選擇一個數據適配器；

數據導入服務器向選擇的傳輸代理模塊發送數據請求，所述數據請求中包含選擇的數據適配器的IP信息；

傳輸代理模塊根據數據請求中的數據適配器的IP信息將數據請求轉發至選擇的數據適配器。

11.如權利要求9所述的數據同步方法，其特征在于，在所述數據適配器從數據源讀取數據之后，所述方法還包括：

數據適配器計算讀取的數據的差錯校驗碼，并將所述數據的差錯校驗碼發送至數據導入服務器。