[發明專利]數據傳輸方法、數據系統及相關裝置

在審

• 申請號: 201410645843.7
• 申請日: 2014-11-12
• 公開（公告）號: CN104410675A
• 公開（公告）日: 2015-03-11
• 發明（設計）人: 趙劍鋒
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 康正德;孫曉芳

技術領域

本發明涉及數據傳輸領域，特別是涉及一種數據傳輸方法、數據系統及相關裝置。

背景技術

隨著網絡技術的快速發展，在大型網站的源服務器，每時每刻都有很多新生成的網頁文件、代碼文件和配置文件等各種類型的數據。為保證互聯網用戶能夠及時訪問或者使用，源服務器需要以較快的速度把新生成的數據分發到數十臺、甚至數百臺位于不同地點的目標服務器上。

現有技術中，源服務器將生成的數據傳輸至各個目標服務器的方式有兩種：串行處理方式和并行處理方式：

串行處理方式，即源服務器將每一批的待傳輸數據串行地傳輸到所有目標服務器上，當存在多批待傳輸數據時，重復以上過程。這種傳輸方式雖然穩定性好，但是傳輸速度慢，導致待傳輸數據不能夠及時高效地傳輸到目標服務器上。

并行處理方式，即源服務器并行地將每一批的待傳輸數據傳輸到所有的目標服務器上。這種傳輸方式雖然傳輸速度比第一種傳輸方式快，但是至少存在以下兩個缺點：

(1)源服務器需要同時與所有目標服務器建立網絡連接，因此網絡連接和進程/線程數量不易控制；

(2)每次數據傳輸操作的多個目標服務器通常處于不同的地域，并且可能距離源服務器距離遠，因此傳輸過程的穩定性差。

發明內容

鑒于上述問題，本發明的實施例提出了一種數據傳輸方法、數據系統及相關裝置，以克服上述問題或者至少部分地解決上述問題。

依據本發明的一個方面，提供了一種源服務器，包括：傳輸模塊，適于傳輸所述待傳輸數據至為各集群分別設置的代理服務器，其中，各集群的代理服務器用于將所述待傳輸數據轉發至其所在集群的各目標服務器。

可選地，所述源服務器還包括：分配模塊，適于根據所述待傳輸數據的參數分配N個用于傳輸所述待傳輸數據的隊列，其中，N為不小于1的正整數；傳輸模塊，適于利用分配的所述N個隊列向所述各集群的代理服務器傳輸所述待傳輸數據。

可選地，所述源服務器還包括：監測模塊，適于在傳輸過程中，監測當前待傳輸數據的參數是否發生變化；以及，當監測到當前待傳輸數據的參數發生變化，觸發所述分配模塊；所述分配模塊，還適于接收所述監測模塊的觸發，并根據變化后的參數重新分配M個用于傳輸所述待傳輸數據的隊列；所述傳輸模塊，還適于利用重新分配的所述M個隊列繼續進行數據傳輸操作。

可選地，所述分配模塊還適于：根據所述待傳輸數據的參數確定本源服務器的配置信息，其中，所述配置信息包括進程數量信息、網絡連接數信息；以及，根據所述配置信息分配N個用于傳輸所述待傳輸數據的隊列。

可選地，所述傳輸模塊進一步包括：確定單元，適于根據所述待傳輸數據的參數確定所述待傳輸數據的優先級級別；排序單元，適于利用所述待傳輸數據的優先級級別在所述N個隊列中對緩存的所述待傳輸數據進行排序；以及傳輸單元，適于根據排序結果進行所述數據傳輸操作。

可選地，所述排序單元還適于：將優先級較高的待傳輸數據置于優先級較低的待傳輸數據之前，以優先傳輸所述優先級較高的待傳輸數據。

可選地，所述源服務器還包括：接收模塊，適于接收所述各集群的代理服務器返回的傳輸結果。

可選地，所述源服務器還包括：處理模塊，適于根據所述傳輸結果進行傳輸狀態分析，得到分析結果，其中，所述傳輸狀態包括以下至少之一：傳輸速度、傳輸成功率、傳輸丟包率；所述分配模塊，還適于利用所述分析結果分配隊列數目。

可選地，所述傳輸模塊還適于：當所述接收模塊接收所述傳輸結果之后，若任一代理服務器返回的傳輸結果為傳輸操作失敗，重新傳輸所述待傳輸數據至該代理服務器。

依據本發明的另一方面，還提供了一種代理服務器，設置于一個集群，其中，所述集群中還存在多個目標服務器，包括：接收模塊，適于接收來自源服務器的待傳輸數據；發送模塊，適于發送所述待傳輸數據至本集群內的各目標服務器。

可選地，所述發送模塊還適于：返回傳輸結果至所述源服務器，以供所述源服務器根據所述傳輸結果調整后續傳輸操作。

依據本發明的再一方面，還提供了一種數據系統，包括上述的源服務器和至少一個集群，其中，每個集群中包括多個目標服務器，還包括上述的代理服務器，其中，所述源服務器，適于傳輸待傳輸數據至所述各集群的代理服務器；對于所述各集群中的任意一個集群，該集群內的代理服務器，適于接收所述待傳輸數據，并轉發所述待傳輸數據至本集群內的各目標服務器；以及，該集群內的各目標服務器，適于接收本集群代理服務器下發的所述待傳輸數據。