[發(fā)明專利]一種基于zookeeper實(shí)現(xiàn)負(fù)載均衡的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201611038251.4
• 申請(qǐng)日: 2016-11-23
• 公開(kāi)（公告）號(hào): CN106776008A
• 公開(kāi)（公告）日: 2017-05-31
• 發(fā)明（設(shè)計(jì)）人: 王琦;劉坤朋;鄭杭;練軍
• 申請(qǐng)（專利權(quán)）人: 福建六壬網(wǎng)安股份有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 福州科揚(yáng)專利事務(wù)所35001
• 代理人: 徐開(kāi)翟

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于zookeeper實(shí)現(xiàn)負(fù)載均衡的方法及系統(tǒng)。

背景技術(shù)

企業(yè)大數(shù)據(jù)量的快速激增要求對(duì)業(yè)務(wù)數(shù)據(jù)分塊，進(jìn)而由分布式系統(tǒng)對(duì)各塊進(jìn)行高可用的并行處理。在分布式數(shù)據(jù)處理系統(tǒng)中，通常有一些通過(guò)網(wǎng)絡(luò)彼此互聯(lián)且在數(shù)量上可以彈性擴(kuò)展的節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都采用相同的工作方式，他們通過(guò)一定的協(xié)商機(jī)制，在協(xié)商完畢后結(jié)合一致性哈希算法，能夠自發(fā)地確定由自身處理的數(shù)據(jù)塊，然后對(duì)這些數(shù)據(jù)塊進(jìn)行處理。

對(duì)于分布式系統(tǒng)，需要一定的協(xié)調(diào)機(jī)制使系統(tǒng)在節(jié)點(diǎn)變動(dòng)例如增加、刪除一個(gè)或多個(gè)節(jié)點(diǎn)的情況下系統(tǒng)仍具有較高的可靠性。Zookeeper常被軟件系統(tǒng)用于構(gòu)建這種協(xié)調(diào)機(jī)制，提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。

申請(qǐng)?zhí)枮?01410154133.4的專利申請(qǐng)中公開(kāi)一種處理數(shù)據(jù)的方法和裝置，。該方法中，當(dāng)前節(jié)點(diǎn)向zookeeper進(jìn)行注冊(cè)并觸發(fā)對(duì)系統(tǒng)中所有其他節(jié)點(diǎn)的監(jiān)聽(tīng)；當(dāng)前節(jié)點(diǎn)在從注冊(cè)完成時(shí)起，干預(yù)設(shè)時(shí)長(zhǎng)內(nèi)監(jiān)聽(tīng)到全部其他節(jié)點(diǎn)對(duì)新增節(jié)點(diǎn)事件做出確認(rèn)的事件的情況下，確定由自身來(lái)處理的數(shù)據(jù)塊；當(dāng)前節(jié)點(diǎn)在注冊(cè)完成時(shí)起，經(jīng)預(yù)設(shè)時(shí)長(zhǎng)后仍未監(jiān)聽(tīng)到至少一個(gè)其他節(jié)點(diǎn)對(duì)新增節(jié)點(diǎn)事件做出確認(rèn)的事件情況下，判斷zookeeper中是否保存該至少一個(gè)其他節(jié)點(diǎn)對(duì)新增節(jié)點(diǎn)事件做出確認(rèn)信息，若是，則確定由自身來(lái)處理的數(shù)據(jù)塊，否則重新向zookeeper進(jìn)行注冊(cè)。上述方法有助于避免在分布式數(shù)據(jù)處理系統(tǒng)中采用zookeeper進(jìn)行任務(wù)調(diào)度時(shí)出現(xiàn)的數(shù)據(jù)被不同的節(jié)點(diǎn)重復(fù)處理的現(xiàn)象，但該方法不能實(shí)現(xiàn)各個(gè)節(jié)點(diǎn)數(shù)據(jù)均衡處理且容易出現(xiàn)單點(diǎn)故障故障問(wèn)題。

申請(qǐng)?zhí)枮?01510561242.2的專利申請(qǐng)中公開(kāi)用于基于zookeeper實(shí)現(xiàn)分布式調(diào)度的方法，該方法包括在zookeeper注冊(cè)中心處的分布式隊(duì)列中注冊(cè)多個(gè)調(diào)度應(yīng)用；調(diào)用注冊(cè)的多個(gè)調(diào)度應(yīng)用中的第一調(diào)度應(yīng)用，以向所述第一調(diào)度應(yīng)用分配分布式鎖，使得僅所述第一調(diào)度應(yīng)用能夠執(zhí)行任務(wù)；以及當(dāng)所述第一調(diào)度應(yīng)用獲得所分配的分布式鎖時(shí)，利用所述第一調(diào)度應(yīng)用執(zhí)行相應(yīng)的任務(wù)。上述方法利用zookeeper替代數(shù)據(jù)庫(kù)來(lái)控制實(shí)現(xiàn)單點(diǎn)任務(wù)調(diào)度的Quartz單點(diǎn)應(yīng)用的執(zhí)行以實(shí)現(xiàn)分布式調(diào)度，實(shí)現(xiàn)了一種既能滿足定時(shí)調(diào)度任務(wù)、又能滿足多任務(wù)同時(shí)執(zhí)行的調(diào)度框架，但該方式無(wú)法實(shí)現(xiàn)各個(gè)節(jié)點(diǎn)數(shù)據(jù)均衡處理且容易出現(xiàn)單點(diǎn)故障。

發(fā)明內(nèi)容

本發(fā)明的目的在于，提出一種能夠靈活實(shí)現(xiàn)系統(tǒng)穩(wěn)定的負(fù)載均衡，避免單點(diǎn)故障，且支持周期性任務(wù)與單次任務(wù)的基于zookeeper實(shí)現(xiàn)負(fù)載均衡的方法，避免無(wú)法實(shí)現(xiàn)各個(gè)節(jié)點(diǎn)數(shù)據(jù)均衡處理，容易出現(xiàn)單點(diǎn)故障的問(wèn)題。

為了實(shí)現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案為：

一種基于zookeeper實(shí)現(xiàn)負(fù)載均衡的方法，包括如下步驟：

S100:獲取任務(wù)處理器負(fù)載信息素；

S200:調(diào)用用戶發(fā)起的任務(wù)請(qǐng)求，獲取所述任務(wù)請(qǐng)求的任務(wù)信息并存入任務(wù)就緒隊(duì)列，將任務(wù)就緒隊(duì)列依照任務(wù)的時(shí)間松弛度從小到大的順序依序輸出待執(zhí)行任務(wù)；

S300:逐個(gè)將待執(zhí)行任務(wù)分配給一最大分配概率的任務(wù)處理器，并計(jì)算每一任務(wù)分配方案的負(fù)載不均衡度，比較各任務(wù)分配方案的負(fù)載不均衡度大小并輸出最優(yōu)的任務(wù)分配方案。

每一待執(zhí)行任務(wù)分配給一最大分配概率的任務(wù)處理器，并計(jì)算每一任務(wù)分配方案的負(fù)載不均衡度，比較各任務(wù)分配方案的負(fù)載不均衡度大小并輸出最優(yōu)的任務(wù)分配方案，包括以下步驟：

步驟A：初始化m個(gè)任務(wù)處理器負(fù)載信息素，根據(jù)式(1)計(jì)算所有任務(wù)處理器i(i＝1,2，...，m)的初始負(fù)載信息素Load(i)；

Load(i)＝|Uti(i)-Uti(i).avg|式(1)

步驟B：在n個(gè)任務(wù)中，根據(jù)所選的第一個(gè)任務(wù)i在滿足式(2)的情況下，按照式(3)計(jì)算可執(zhí)行該任務(wù)的處理器j(處理器j滿足式(2))的任務(wù)分配概率pij，選擇其中最大概率的處理器完成對(duì)要執(zhí)行的任務(wù)的的部署，選擇下一個(gè)任務(wù)繼續(xù)執(zhí)行上述操作，直至任務(wù)全部執(zhí)行完，得到一種分配方案；

Ti＜Sj式(2)

步驟C：對(duì)所分配的任務(wù)處理器按照式(4)進(jìn)行負(fù)載信息素Load’(i)更新(i為參與分配任務(wù)的處理器)，并根據(jù)式(5)計(jì)算該方案的負(fù)載不均衡度H；

Load'(i)＝(1-ρ)Load(i)+ρΔLoad(i)

步驟D：更換所選的第一個(gè)任務(wù)轉(zhuǎn)至步驟B，直至不同的n種方案處理完畢；