[發明專利]多層次的分布式集群系統

無效

• 申請號: 201010617218.3
• 申請日: 2010-12-27
• 公開（公告）號: CN102118433A
• 公開（公告）日: 2011-07-06
• 發明（設計）人: 洪珂;武志鵬;牛榮利
• 申請（專利權）人: 網宿科技股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 施浩

技術領域

本發明涉及一種分布式系統，尤其涉及一種具有多個層次的分布式集群系統。

背景技術

在分布式系統中存在局部負載均衡集群技術和一致性哈希(hash)算法技術。

局部負載均衡集群技術是由若干臺普通服務器組成的集合，該集合對外呈現同一出口，并能夠在集合內部機器之間根據某種算法進行負載均衡。

一致性哈希算法具有單調性的特點，單調性是指如果已經有一些內容通過哈希分派到了相應的緩沖中，又有新的緩沖加入到系統中。哈希的結果應能夠保證原有已分配的內容可以被映射到新的緩沖中去，而不會被映射到舊的緩沖集合中的其他緩沖區。

目前在局部負載均衡集群技術上，往往只是采用簡單的輪詢策略或者根據機器的連接數或者負載進行均衡，該種均衡最大的問題是，每臺服務器都是等價的，即每臺服務器需要存儲相同的內容；目前也有根據內容進行分配的策略，不過當集群中設備增減時會造成內容的遷移

發明內容

本發明的目的在于解決上述問題，提供了一種多層次的分布式集群系統，解決了普通負載均衡技術的基于輪詢策略或者基于內容哈希可能發生的內容遷移，采用了分層次的負載均衡技術，結合使用輪詢策略以及一致性哈希算法，解決了集群的擴展性、內容遷移等問題。

本發明的技術方案為：本發明揭示了一種多層次的分布式集群系統，包括位于系統前端的傳輸層負載均衡器、位于系統中間層的URL一致性哈希均衡器、位于系統后端的真實服務器，其中：

傳輸層負載均衡器，接收客戶端發送的請求數據并進行負載均衡，將客戶端請求分配到中間層的URL一致性哈希均衡器；

URL一致性哈希均衡器，耦接該傳輸層負載均衡器，接收來自該傳輸層負載均衡器分配的客戶端的請求數據，通過一致性哈希算法將相同的URL被分配到相同的真實服務器上進行服務；

真實服務器，耦接該URL一致性哈希均衡器，用于存儲數據。

根據本發明的多層次的分布式集群系統的一實施例，該傳輸層負載均衡器通過輪詢策略將客戶端請求分配到中間層的URL一致性哈希均衡器。

根據本發明的多層次的分布式集群系統的一實施例，該傳輸層負載均衡器進一步包括：

數據接收模塊，接收客戶端發送的請求數據；

連接記錄模塊，耦接該數據接收模塊，將客戶端傳輸層協議中的連接信息進行記錄，以識別后續的相同連接的請求數據；

第一請求調度模塊，耦接該連接記錄模塊，根據負載均衡算法和URL一致性哈希均衡器的健康狀態將客戶端請求轉向某一URL一致性哈希均衡器；

第一后端監控模塊，耦接該第一請求調度模塊，對配置的URL一致性哈希均衡器進行健康狀態的檢測，并提供檢測結果供該請求調度模塊進行決策；

數據轉發模塊，耦接該第一請求調度模塊，將客戶端的請求數據轉發給URL一致性哈希均衡器。

根據本發明的多層次的分布式集群系統的一實施例，客戶端傳輸層協議中的連接信息包括客戶端IP、客戶端端口號、目標IP、目標IP端口號、分配到URL一致性哈希均衡器IP、分配到的URL一致性哈希均衡器端口號。

根據本發明的多層次的分布式集群系統的一實施例，該客戶端傳輸層協議是TCP/UDP協議。

根據本發明的多層次的分布式集群系統的一實施例，該URL一致性哈希均衡器進一步包括：

請求接收模塊，接收客戶端發送的請求數據；

HTTP頭請求解析模塊，耦接該請求接收模塊，解析客戶端的HTTP請求頭中的信息；

第二請求調度模塊，根據URL一致性哈希算法和后端的真實服務器的健康狀態將客戶端請求轉向某一真實服務器；

第二后端監控模塊，耦接該第二請求調度模塊，對配置的真實服務器進行健康狀態的檢測，并提供檢測結果供該第二請求調度模塊進行決策；

請求轉發模塊，耦接該第二請求調度模塊，將客戶端的請求數據轉發給后端的真實服務器；

數據接收模塊，耦接該請求轉發模塊，接收后端的真實服務器的返回數據，并判斷數據發送是否結束；

數據發送模塊，耦接該數據接收模塊，將數據發送到客戶端，完成客戶端的請求。

根據本發明的多層次的分布式集群系統的一實施例，該HTTP頭請求解析模塊還提取請求的URL、請求的主機名、請求是否為持久連接的信息。

根據本發明的多層次的分布式集群系統的一實施例，該真實服務器中的存儲設備包括內存、高速磁盤和低速磁盤，該真實服務器根據文件的訪問情況將文件存儲在不同類型的存儲設備中。