[發明專利]一種提高大型分布式系統配置效率的方法

在審

• 申請號: 201710698628.7
• 申請日: 2017-08-15
• 公開（公告）號: CN107332716A
• 公開（公告）日: 2017-11-07
• 發明（設計）人: 趙子毅;劉曉光;汪志武
• 申請（專利權）人: 北京云端智度科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及互聯網技術領域，尤其是涉及一種提高大型分布式系統配置效率的方法。

背景技術

隨著社會的發展，互聯網用戶快速增長帶動了互聯網經濟的蓬勃發展，移動互聯網、電子商務、網絡視頻、品牌網絡廣告、網上招聘、網絡游戲等在極短的時間得到快速發展并積累了眾多用戶，成為了人們生活中不可或缺的一部分。

讓人們越來越關注互聯網技術的更新，如何更好更快更方便的共享互聯網資源，成為人們共同的焦點。

在建設大型分布式系統時，大量節點分布在不同區域的若干IDC機房，系統分別部署在這些IDC機房的節點上。當需要修改系統某個配置時，需要向全網成百上千的IDC 節點分發該配置，因此在大型分布式系統的參數配置具有工作量大，工作繁瑣的特點。

該場景主要面臨如下幾個問題：

1.如何方便地收斂同步所有節點的配置。在不同的節點，有可能存在系統的配置版本不一致的問題，要在成百上千的節點中將系統的配置信息進行歸納整理是一項非常復雜的工作，需要付出大量的人力成本和時間成本。

2.如何保證所有節點配置的一致性。成百上千節點的配置修改工作，其工作量非常巨大，稍有不慎就可能導致配置不正確，因此配置修改的一致性很難得到保障。

3.如何處理跨區域的網絡問題，可能存在部分節點網絡不可達的問題，這樣可能導致配置修改的操作無法完成；

4.如果保證配置的時效性，成百上千個節點的配置更新操作，是一項耗時的工作，這樣就很難保證配置修改的時效性。

目前通常的做法是由系統管理員登錄到不同節點的系統中，分別進行系統配置的修改，將系統配置一套一套地進行修改，這樣不僅耗時耗力，而且很容易出錯，配置的一致性也很難得到保障。

發明內容

本發明的目的在于提供一種提高大型分布式系統配置效率的方法，以解決上述背景技術中提出的問題和缺陷,形成一個統一的配置中心，配置信息通過版本機制管理，方便回溯和回滾。

為實現上述目的，本發明提供如下技術方案：

一種提高大型分布式系統配置效率的方法，設有一個統一的配置中心，配置中心通過協議把集群中的IDC節點分為三種狀態，通過多個副本來保證配置信息的高可用和冗余備份；

當需要全網或灰度更新配置時，由控制端向該配置中心發起更新指令，由配置中心將此次更新的配置下發至其他IDC節點。

在上述技術方案中，配置中心把集群中的IDC節點分為三種狀態，具體是指領導者、追隨者、候選者，其中：領導者負責日志的同步管理，處理來自客戶端的請求，與追隨者通過心跳線保持聯系；追隨者負責響應領導者的日志同步請求，把從候選者到追隨者的請求事務轉發給領導者；候選者負責選舉投票。

在上述技術方案中，一個IDC節點中部署有多臺服務器，多臺服務器構成一個IDC 節點。

在上述技術方案中，配置中心的配置信息為類似于文本文件的信息，配置中心將這些信息備份成另外一份或者多份，即為多個副本。

在上述技術方案中，當協議運行提供服務的時候只存在領導者與候選者兩種狀態；

剛啟動時所有IDC節點均為追隨者狀態，啟動時由一個節點從追隨者轉為候選者發起選舉，配置中心通過協議選舉一個領導者，然后給予他全部的管理復制日志的責任來實現一致性，領導者從客戶端接收日志條目，把日志條目復制到其他服務器上，并且當保證安全性的時候告訴其他的服務器應用日志條目到他們的狀態機中。

作為上述技術方案的優選，配置信息通過版本機制進行管理，用于方便回溯和回滾。

作為上述技術方案的優選，配置中心借助開源組件consul、通過gossip協議，將配置指標從配置中心同步到外圍IDC節點，該協議保證配置在各IDC節點之間的最終一致性，同步時通過重試機制以適應跨區域網絡的抖動異常。

作為上述技術方案的優選，在配置中心同步配置信息時，會啟動Gossip服務，Gossip服務啟動后會啟動一個任務GossipTask，這個任務會周期性地與其他IDC節點進行通信。

作為上述技術方案的進一步說明，IDC節點接收到配置中心的配置信息之后，將該配置信息進一步分發至本IDC內部的各系統組件，具體實現過程如下：

Q1在IDC節點安裝單獨的程序(以下簡稱節點程序)用于接收配置信息；

Q2程序在接收到配置信息后，依次調用本IDC節點內所有設備的api接口，通過api 接口分發到IDC節點內部各系統組件，實現配置信息的更新。