[發(fā)明專利]基于負載均衡的分布式數(shù)據(jù)傳輸方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410153071.5
• 申請日: 2014-04-16
• 公開（公告）號: CN104852857B
• 公開（公告）日: 2018-07-31
• 發(fā)明（設(shè)計）人: 林文輝
• 申請（專利權(quán)）人: 航天信息股份有限公司
• 主分類號: H04L12/803
• 分類號: H04L12/803;H04L29/08
• 代理公司: 北京工信聯(lián)合知識產(chǎn)權(quán)代理有限公司 11266
• 代理人: 黃曉軍

本發(fā)明實施例提供了一種基于負載均衡的分布式數(shù)據(jù)傳輸方法和系統(tǒng)。該方法主要包括：將分布式數(shù)據(jù)傳輸系統(tǒng)中的各個傳輸節(jié)點分成多個層次，在每個層次中包括多個傳輸節(jié)點，在分布式數(shù)據(jù)傳輸系統(tǒng)中設(shè)置一個負載均衡管理節(jié)點，負載均衡管理節(jié)點根據(jù)接收到的各個傳輸節(jié)點的節(jié)點狀態(tài)信息，按照設(shè)定的負載均衡策略對各個傳輸節(jié)點之間的數(shù)據(jù)傳輸流量進行控制。本發(fā)明實施例實現(xiàn)了對整個數(shù)據(jù)傳輸過程進行有效的檢測和管理，可以根據(jù)各個傳輸節(jié)點的節(jié)點狀態(tài)信息按照設(shè)定的負載均衡策略對各個傳輸節(jié)點之間的數(shù)據(jù)傳輸流量進行控制，實時調(diào)整分布式數(shù)據(jù)傳輸系統(tǒng)的網(wǎng)絡(luò)架構(gòu)，從而提高了分布式數(shù)據(jù)傳輸系統(tǒng)的數(shù)據(jù)傳輸?shù)男省?/p>

技術(shù)領(lǐng)域

本發(fā)明涉及分布式數(shù)據(jù)傳輸技術(shù)領(lǐng)域，尤其涉及一種基于負載均衡的分布式數(shù)據(jù)傳輸方法和系統(tǒng)。

背景技術(shù)

近年來信息技術(shù)快速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)量增長非常迅速。同時云計算、物聯(lián)網(wǎng)技術(shù)的發(fā)展也產(chǎn)生了大量的網(wǎng)絡(luò)數(shù)據(jù)。在這些網(wǎng)絡(luò)數(shù)據(jù)中存在著很大一部分數(shù)據(jù)需要長距離、長時間的網(wǎng)絡(luò)傳輸。例如用于數(shù)據(jù)挖掘的云計算平臺，需要從各個采集點中采集數(shù)據(jù)并傳輸?shù)皆破脚_中。基于物聯(lián)網(wǎng)的城市交通管理系統(tǒng)則需要實時從城市各個關(guān)鍵節(jié)點采集數(shù)據(jù)，并實時對數(shù)據(jù)進行存儲、合并、處理等操作。

當前長距離、長時間的網(wǎng)絡(luò)數(shù)據(jù)傳輸主要有兩種，一種就是應用的服務器在網(wǎng)絡(luò)中開放接口，用于接收數(shù)據(jù)，各個外網(wǎng)節(jié)點均通過該接口向服務器發(fā)送數(shù)據(jù)；另一種則是使用分布式數(shù)據(jù)傳輸?shù)姆椒ǎㄟ^設(shè)置大量的、多層次的中間緩存節(jié)點，來對采集到的數(shù)據(jù)進行匯聚并最終匯集到服務器中。

近年來隨著互聯(lián)網(wǎng)的發(fā)展，許多業(yè)務應用中均存在著分布式數(shù)據(jù)傳輸系統(tǒng)，例如物聯(lián)網(wǎng)、交通信息管理、網(wǎng)絡(luò)監(jiān)控等。然而這些分布式數(shù)據(jù)傳輸系統(tǒng)均存在一定的缺點。在這類分布式數(shù)據(jù)傳輸系統(tǒng)中，數(shù)據(jù)需要在不同節(jié)點間進行傳輸、分流、匯聚等操作。伴隨著節(jié)點的增加，出現(xiàn)節(jié)點失效、節(jié)點負載過大等情況的概率將大大增加，而這些情況都將會導致數(shù)據(jù)丟失。這些分布式數(shù)據(jù)傳輸系統(tǒng)只有當其中某個節(jié)點出現(xiàn)故障失效后才能發(fā)現(xiàn)問題，而這時緩存在該節(jié)點的數(shù)據(jù)則很有可能無法找回。同時這些分布式數(shù)據(jù)傳輸系統(tǒng)的網(wǎng)絡(luò)傳輸速率也是很大的制約因素，當多個上一節(jié)節(jié)點同時向某個下一節(jié)節(jié)點并行傳輸數(shù)據(jù)時，該下一節(jié)節(jié)點可能無法處理接收數(shù)據(jù)，從而導致數(shù)據(jù)丟失。

發(fā)明內(nèi)容

本發(fā)明的實施例提供了一種基于負載均衡的分布式數(shù)據(jù)傳輸方法和系統(tǒng)，以提高分布式數(shù)據(jù)傳輸系統(tǒng)的數(shù)據(jù)傳輸?shù)男省?/p>

本發(fā)明提供了如下方案：

一種基于負載均衡的分布式數(shù)據(jù)傳輸方法，將分布式數(shù)據(jù)傳輸系統(tǒng)中的各個傳輸節(jié)點分成多個層次，在每個層次中包括多個傳輸節(jié)點，在分布式數(shù)據(jù)傳輸系統(tǒng)中設(shè)置一個負載均衡管理節(jié)點，所述方法具體包括：

所述負載均衡管理節(jié)點與每個傳輸節(jié)點進行數(shù)據(jù)通信，接收每個傳輸節(jié)點發(fā)送過來的節(jié)點狀態(tài)信息；

所述負載均衡管理節(jié)點根據(jù)接收到的各個傳輸節(jié)點的節(jié)點狀態(tài)信息，按照設(shè)定的負載均衡策略對各個傳輸節(jié)點之間的數(shù)據(jù)傳輸流量進行控制。

所述負載均衡管理節(jié)點與每個傳輸節(jié)點進行數(shù)據(jù)通信，接收每個傳輸節(jié)點發(fā)送過來的節(jié)點狀態(tài)信息，包括：

在分布式數(shù)據(jù)傳輸系統(tǒng)中的各個傳輸節(jié)點中設(shè)置心跳模塊，各個傳輸節(jié)點實時獲取傳輸節(jié)點自身的節(jié)點狀態(tài)信息；

各個傳輸節(jié)點按照設(shè)定的時間間隔通過所述心跳模塊采用遠程過程調(diào)用協(xié)議向所述負載均衡管理節(jié)點發(fā)送攜帶所述節(jié)點狀態(tài)信息的心跳消息，所述負載均衡管理節(jié)點通過指定端口接收各個傳輸節(jié)點發(fā)送過來的心跳消息，獲取所述心跳消息中攜帶的節(jié)點狀態(tài)信息。

所述節(jié)點狀態(tài)信息包括節(jié)點網(wǎng)絡(luò)流量速率、節(jié)點最大帶寬、CPU負載、內(nèi)存使用量。

所述負載均衡管理節(jié)點根據(jù)接收到的各個傳輸節(jié)點的節(jié)點狀態(tài)信息，按照設(shè)定的負載均衡策略對各個傳輸節(jié)點之間的數(shù)據(jù)傳輸流量進行控制，包括：