[發明專利]分布式系統及該分布式系統的擴容方法

在審

• 申請號: 201610753112.3
• 申請日: 2016-08-29
• 公開（公告）號: CN107786358A
• 公開（公告）日: 2018-03-09
• 發明（設計）人: 郭華
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 張大威

技術領域

本發明涉及IT(互聯網技術，Internet Technology，簡稱IT)和CT(電信網技術，Community Technology，簡稱CT)領域，特別涉及一種分布式系統及該分布式系統的擴容方法。

背景技術

分布式系統是建立在網絡之上的軟件系統，具有高度的內聚性和透明性，使得每一個數據庫的分布節點高度自治，且每一個數據庫的分布節點對用戶的應用來說都是透明的，看不出是本地還是遠程，所以分布式系統的出現解決了大規模計算和并行計算的問題，受到廣大用戶的青睞。

目前，常見的分布式系統的架構一般采用主從方式，即主節點負責接收和分發任務，多個從節點(也叫計算節點)執行具體的任務。主節點只做分發，不會成為系統瓶頸；而執行任務的從節點往往會隨著計算量的增加和資源利用率的上升成為瓶頸。這時就需要對分布式系統進行擴容，常見的擴容方法就是采用手動方式增加一個或多個計算節點，此種擴容方法雖然具有一定的效果，但是擴容粒度較粗，且效率較低。

發明內容

基于此，本發明的目的在于提出一種具有高效率的分布式系統及該分布式體統的擴容方法，所述擴容方法優化了所述分布式系統的擴容過程，以更精確的方式對擴容過程中所需資源進行按需分配，實現擴容過程的自動化。

本發明提供一種分布式系統的擴容方法，所述分布式系統包括主節點，多個計算節點，所述主節點負責接收和分配任務，所述計算節點執行所述主節點分配的對應的任務，進一步包括緩存節點及觀測者，所述擴容方法包括：

所述緩存節點記錄分配給每個所述計算節點的隊列阻塞信息，并傳送給所述觀測者；

所述主節點接收每個所述計算節點定期上報的自身的資源利用率信息，并傳送給所述觀測者；

所述觀測者收集所述隊列阻塞信息、所述資源利用率信息，并判斷每個所述計算節點是否超過自身預設的吞吐量閥值，若未超過，則以增加線程的方式對每個所述計算節點的內部進行第一次擴容。

所述分布式系統的擴容方法，其中，所述分布式系統還包括資源管理系統，若每個所述計算節點都超過自身預設的吞吐量閥值，則判斷所述計算節點是否超過預設的資源利用率閥值，若超過，則所述資源管理系統分配所需的硬件資源和軟件鏡像，以增加新的計算節點的方式進行第二次擴容。

所述分布式系統的擴容方法，其中，所述第一次擴容包括：

所述觀測者接收所述主節點主動發出的擴容申請，并發出第一次擴容命令；

所述計算節點接收所述第一次擴容命令，計算所需增加的線程數量并傳送給所述主節點；

所述觀測者接收所述主節點傳送的所述線程數量，并判斷所述線程數量是否超過預設的上限值，若未超過，則所述計算節點根據所需增加的所述線程數量進行擴容，若超過，則對另外的所述計算節點以增加線程的方式進行擴容。

所述分布式系統的擴容方法，其中，所述第二次擴容包括：

所述觀測者計算需增加的新的計算節點的數量及所述新的計算節點所需的硬件資源和加載運行軟件映像，并發送第二次擴容命令給所述資源分配系統；

所述資源分配系統接收所述第二次擴容命令，分配所需的硬件資源和加載運行軟件映像，并通過容器方式啟動所述新的計算節點；

所述新的計算節點完成啟動后，向所述緩存節點申請消息緩存并接收所述緩存節點完成的分配結果，同時向所述主節點發出加入請求；

所述主節點接收加入請求后發布新的計算任務，完成第二次擴容。

所述分布式系統的擴容方法，其中，

當所述資源分配系統包括基礎設施服務系統和容器集群管理系統時，所述觀測者需先向所述基礎設施服務系統申請新的計算節點所需的硬件資源，再向所述容器集群管理系統申請新的計算節點所需的軟件鏡像，所述容器集群管理系統通過容器方式啟動新的計算節點；

當所述資源分配系統為平臺服務系統時，所述觀測者向所述平臺服務系統申請新的計算節點所需的硬件資源及軟件鏡像，所述平臺服務系統通過容器方式啟動新的計算節點。

相較現有技術，本發明所述擴容方法中，先對每個所述計算節點的自身進行擴容，當所有的所述計算節點的自身完成擴容的數量大于預設的數量閥值時，所述資源分配系統按所需的硬件資源和加載運行軟件映像來增加新的所述計算節點進行擴容，所以所述擴容方法優化了所述分布式系統的擴容過程，實現了擴容的自動化，提升了擴容的效率。

一種分布式系統，包括主節點，多個計算節點，所述主節點負責接收和分配任務，所述計算節點執行所述主節點分配的對應的任務，進一步包括緩存節點及觀測者；