[發(fā)明專利]一種提高大型分布式系統(tǒng)配置效率的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710698628.7
• 申請(qǐng)日: 2017-08-15
• 公開（公告）號(hào): CN107332716A
• 公開（公告）日: 2017-11-07
• 發(fā)明（設(shè)計(jì)）人: 趙子毅;劉曉光;汪志武
• 申請(qǐng)（專利權(quán)）人: 北京云端智度科技有限公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其是涉及一種提高大型分布式系統(tǒng)配置效率的方法。

背景技術(shù)

隨著社會(huì)的發(fā)展，互聯(lián)網(wǎng)用戶快速增長帶動(dòng)了互聯(lián)網(wǎng)經(jīng)濟(jì)的蓬勃發(fā)展，移動(dòng)互聯(lián)網(wǎng)、電子商務(wù)、網(wǎng)絡(luò)視頻、品牌網(wǎng)絡(luò)廣告、網(wǎng)上招聘、網(wǎng)絡(luò)游戲等在極短的時(shí)間得到快速發(fā)展并積累了眾多用戶，成為了人們生活中不可或缺的一部分。

讓人們?cè)絹碓疥P(guān)注互聯(lián)網(wǎng)技術(shù)的更新，如何更好更快更方便的共享互聯(lián)網(wǎng)資源，成為人們共同的焦點(diǎn)。

在建設(shè)大型分布式系統(tǒng)時(shí)，大量節(jié)點(diǎn)分布在不同區(qū)域的若干IDC機(jī)房，系統(tǒng)分別部署在這些IDC機(jī)房的節(jié)點(diǎn)上。當(dāng)需要修改系統(tǒng)某個(gè)配置時(shí)，需要向全網(wǎng)成百上千的IDC 節(jié)點(diǎn)分發(fā)該配置，因此在大型分布式系統(tǒng)的參數(shù)配置具有工作量大，工作繁瑣的特點(diǎn)。

該場(chǎng)景主要面臨如下幾個(gè)問題：

1.如何方便地收斂同步所有節(jié)點(diǎn)的配置。在不同的節(jié)點(diǎn)，有可能存在系統(tǒng)的配置版本不一致的問題，要在成百上千的節(jié)點(diǎn)中將系統(tǒng)的配置信息進(jìn)行歸納整理是一項(xiàng)非常復(fù)雜的工作，需要付出大量的人力成本和時(shí)間成本。

2.如何保證所有節(jié)點(diǎn)配置的一致性。成百上千節(jié)點(diǎn)的配置修改工作，其工作量非常巨大，稍有不慎就可能導(dǎo)致配置不正確，因此配置修改的一致性很難得到保障。

3.如何處理跨區(qū)域的網(wǎng)絡(luò)問題，可能存在部分節(jié)點(diǎn)網(wǎng)絡(luò)不可達(dá)的問題，這樣可能導(dǎo)致配置修改的操作無法完成；

4.如果保證配置的時(shí)效性，成百上千個(gè)節(jié)點(diǎn)的配置更新操作，是一項(xiàng)耗時(shí)的工作，這樣就很難保證配置修改的時(shí)效性。

目前通常的做法是由系統(tǒng)管理員登錄到不同節(jié)點(diǎn)的系統(tǒng)中，分別進(jìn)行系統(tǒng)配置的修改，將系統(tǒng)配置一套一套地進(jìn)行修改，這樣不僅耗時(shí)耗力，而且很容易出錯(cuò)，配置的一致性也很難得到保障。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種提高大型分布式系統(tǒng)配置效率的方法，以解決上述背景技術(shù)中提出的問題和缺陷,形成一個(gè)統(tǒng)一的配置中心，配置信息通過版本機(jī)制管理，方便回溯和回滾。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種提高大型分布式系統(tǒng)配置效率的方法，設(shè)有一個(gè)統(tǒng)一的配置中心，配置中心通過協(xié)議把集群中的IDC節(jié)點(diǎn)分為三種狀態(tài)，通過多個(gè)副本來保證配置信息的高可用和冗余備份；

當(dāng)需要全網(wǎng)或灰度更新配置時(shí)，由控制端向該配置中心發(fā)起更新指令，由配置中心將此次更新的配置下發(fā)至其他IDC節(jié)點(diǎn)。

在上述技術(shù)方案中，配置中心把集群中的IDC節(jié)點(diǎn)分為三種狀態(tài)，具體是指領(lǐng)導(dǎo)者、追隨者、候選者，其中：領(lǐng)導(dǎo)者負(fù)責(zé)日志的同步管理，處理來自客戶端的請(qǐng)求，與追隨者通過心跳線保持聯(lián)系；追隨者負(fù)責(zé)響應(yīng)領(lǐng)導(dǎo)者的日志同步請(qǐng)求，把從候選者到追隨者的請(qǐng)求事務(wù)轉(zhuǎn)發(fā)給領(lǐng)導(dǎo)者；候選者負(fù)責(zé)選舉投票。

在上述技術(shù)方案中，一個(gè)IDC節(jié)點(diǎn)中部署有多臺(tái)服務(wù)器，多臺(tái)服務(wù)器構(gòu)成一個(gè)IDC 節(jié)點(diǎn)。

在上述技術(shù)方案中，配置中心的配置信息為類似于文本文件的信息，配置中心將這些信息備份成另外一份或者多份，即為多個(gè)副本。

在上述技術(shù)方案中，當(dāng)協(xié)議運(yùn)行提供服務(wù)的時(shí)候只存在領(lǐng)導(dǎo)者與候選者兩種狀態(tài)；

剛啟動(dòng)時(shí)所有IDC節(jié)點(diǎn)均為追隨者狀態(tài)，啟動(dòng)時(shí)由一個(gè)節(jié)點(diǎn)從追隨者轉(zhuǎn)為候選者發(fā)起選舉，配置中心通過協(xié)議選舉一個(gè)領(lǐng)導(dǎo)者，然后給予他全部的管理復(fù)制日志的責(zé)任來實(shí)現(xiàn)一致性，領(lǐng)導(dǎo)者從客戶端接收日志條目，把日志條目復(fù)制到其他服務(wù)器上，并且當(dāng)保證安全性的時(shí)候告訴其他的服務(wù)器應(yīng)用日志條目到他們的狀態(tài)機(jī)中。

作為上述技術(shù)方案的優(yōu)選，配置信息通過版本機(jī)制進(jìn)行管理，用于方便回溯和回滾。

作為上述技術(shù)方案的優(yōu)選，配置中心借助開源組件consul、通過gossip協(xié)議，將配置指標(biāo)從配置中心同步到外圍IDC節(jié)點(diǎn)，該協(xié)議保證配置在各IDC節(jié)點(diǎn)之間的最終一致性，同步時(shí)通過重試機(jī)制以適應(yīng)跨區(qū)域網(wǎng)絡(luò)的抖動(dòng)異常。

作為上述技術(shù)方案的優(yōu)選，在配置中心同步配置信息時(shí)，會(huì)啟動(dòng)Gossip服務(wù)，Gossip服務(wù)啟動(dòng)后會(huì)啟動(dòng)一個(gè)任務(wù)GossipTask，這個(gè)任務(wù)會(huì)周期性地與其他IDC節(jié)點(diǎn)進(jìn)行通信。

作為上述技術(shù)方案的進(jìn)一步說明，IDC節(jié)點(diǎn)接收到配置中心的配置信息之后，將該配置信息進(jìn)一步分發(fā)至本IDC內(nèi)部的各系統(tǒng)組件，具體實(shí)現(xiàn)過程如下：

Q1在IDC節(jié)點(diǎn)安裝單獨(dú)的程序(以下簡(jiǎn)稱節(jié)點(diǎn)程序)用于接收配置信息；

Q2程序在接收到配置信息后，依次調(diào)用本IDC節(jié)點(diǎn)內(nèi)所有設(shè)備的api接口，通過api 接口分發(fā)到IDC節(jié)點(diǎn)內(nèi)部各系統(tǒng)組件，實(shí)現(xiàn)配置信息的更新。