[發(fā)明專利]一種分布式集群中數(shù)據(jù)管理的系統(tǒng)和方法

無效

• 申請?zhí)枺?/td>: 201010597613.X
• 申請日: 2010-12-20
• 公開（公告）號(hào): CN102025550A
• 公開（公告）日: 2011-04-20
• 發(fā)明（設(shè)計(jì)）人: 李浩;胡杰文
• 申請（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L29/08
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11270
• 代理人: 程立民;蔣雅潔

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)集群技術(shù)，特別是指一種分布式集群中數(shù)據(jù)管理的系統(tǒng)和方法。

背景技術(shù)

計(jì)算機(jī)集群簡稱集群，是一種并行或分布式處理系統(tǒng)。所述集群通過一組松散集成的計(jì)算機(jī)相互連接，高度緊密地協(xié)作完成所需要的計(jì)算工作。其中，單個(gè)計(jì)算機(jī)通常被稱為節(jié)點(diǎn)。通過集群技術(shù)可以實(shí)現(xiàn)內(nèi)存數(shù)據(jù)庫系統(tǒng)，其中包括主節(jié)點(diǎn)和多個(gè)從節(jié)點(diǎn)。主節(jié)點(diǎn)負(fù)責(zé)向各個(gè)從節(jié)點(diǎn)同步數(shù)據(jù)，并對從節(jié)點(diǎn)進(jìn)行管理。各個(gè)節(jié)點(diǎn)存儲(chǔ)了相同的數(shù)據(jù)，并且每個(gè)節(jié)點(diǎn)都可以完成相同的工作，由于可以多個(gè)節(jié)點(diǎn)并行處理，因此利用集群技術(shù)可以提高數(shù)據(jù)的處理效率；另一方面，多個(gè)節(jié)點(diǎn)的數(shù)據(jù)，工作過程完全一樣，因此可以容忍部分節(jié)點(diǎn)出現(xiàn)死機(jī)等故障，進(jìn)而提高集群系統(tǒng)的可用性和穩(wěn)定性。

在集群中節(jié)點(diǎn)進(jìn)行并行處理、存儲(chǔ)了相同的數(shù)據(jù)、進(jìn)行協(xié)同工作，使得集群對外表現(xiàn)為一個(gè)整體。由此可見集群內(nèi)數(shù)據(jù)的一致性顯得非常重要，否則不同節(jié)點(diǎn)將表現(xiàn)出不同的行為，會(huì)影響集群進(jìn)行數(shù)據(jù)處理服務(wù)。對于分布式的內(nèi)存庫集群，數(shù)據(jù)是其核心，保持集群內(nèi)節(jié)點(diǎn)數(shù)據(jù)的一致性更為重要。

目前集群技術(shù)中解決數(shù)據(jù)一致性的問題，主要是利用主節(jié)點(diǎn)進(jìn)行管理。當(dāng)主節(jié)點(diǎn)產(chǎn)生數(shù)據(jù)變化時(shí)，將變化的數(shù)據(jù)推送到集群內(nèi)其他的從節(jié)點(diǎn)中，但這種管理方法存在兩個(gè)問題：1)主節(jié)點(diǎn)承擔(dān)了過多的負(fù)荷，不利于負(fù)荷均衡；2)其他節(jié)點(diǎn)被動(dòng)接受，參與度低，同時(shí)，主節(jié)點(diǎn)對每個(gè)節(jié)點(diǎn)都相同對待，不能參考從節(jié)點(diǎn)的實(shí)際情況，例如：性能，運(yùn)行狀態(tài)等，不能充分發(fā)揮從節(jié)點(diǎn)的能力。這些問題已經(jīng)成為集群技術(shù)發(fā)展的瓶頸。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種分布式集群中數(shù)據(jù)管理的系統(tǒng)和方法，能夠分擔(dān)主節(jié)點(diǎn)的負(fù)荷，結(jié)合從節(jié)點(diǎn)的實(shí)際情況充分發(fā)揮其能力。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

本發(fā)明提供了一種分布式集群中數(shù)據(jù)管理的系統(tǒng)，所述系統(tǒng)包括：主節(jié)點(diǎn)和負(fù)責(zé)節(jié)點(diǎn)，其中，

所述主節(jié)點(diǎn)，用于對存儲(chǔ)的數(shù)據(jù)進(jìn)行分區(qū)，為每個(gè)數(shù)據(jù)分區(qū)選擇一個(gè)從節(jié)點(diǎn)作為負(fù)責(zé)節(jié)點(diǎn)；

所述負(fù)責(zé)節(jié)點(diǎn)，用于對所述負(fù)責(zé)節(jié)點(diǎn)負(fù)責(zé)的數(shù)據(jù)分區(qū)進(jìn)行管理。

其中，所述負(fù)責(zé)節(jié)點(diǎn)對自身負(fù)責(zé)的數(shù)據(jù)分區(qū)進(jìn)行管理，包括：

當(dāng)所述負(fù)責(zé)節(jié)點(diǎn)負(fù)責(zé)的數(shù)據(jù)分區(qū)的信息有變化時(shí)，由所述負(fù)責(zé)節(jié)點(diǎn)將變化的數(shù)據(jù)發(fā)送給其他從節(jié)點(diǎn)完成寫入操作；

定期檢查訂閱隊(duì)列，根據(jù)有效的訂閱請求向發(fā)送訂閱請求的從節(jié)點(diǎn)發(fā)送自身負(fù)責(zé)的數(shù)據(jù)分區(qū)內(nèi)的數(shù)據(jù)。

其中，所述主節(jié)點(diǎn)為每個(gè)數(shù)據(jù)分區(qū)選擇一個(gè)從節(jié)點(diǎn)作為負(fù)責(zé)節(jié)點(diǎn)具體是根據(jù)從節(jié)點(diǎn)的運(yùn)行狀態(tài)和從節(jié)點(diǎn)能力選擇負(fù)責(zé)節(jié)點(diǎn)。

其中，所述系統(tǒng)還包括：

新加入的節(jié)點(diǎn)，用于廣播發(fā)送注冊請求，接收到注冊響應(yīng)后，向主節(jié)點(diǎn)發(fā)送注冊節(jié)點(diǎn)信息，接收主節(jié)點(diǎn)同步的集群節(jié)點(diǎn)列表和數(shù)據(jù)分區(qū)信息；

所述主節(jié)點(diǎn)，還用于接收注冊請求后，判斷所述新加入的節(jié)點(diǎn)是否合法，如果合法則返回注冊響應(yīng)，否則返回失敗響應(yīng)，接收到注冊節(jié)點(diǎn)信息后，將新加入的節(jié)點(diǎn)的信息加入集群節(jié)點(diǎn)列表，并在集群中同步更新集群節(jié)點(diǎn)列表和數(shù)據(jù)分區(qū)信息。

其中，所述新加入的節(jié)點(diǎn)或者寫入操作失敗的節(jié)點(diǎn)，還用于向主節(jié)點(diǎn)發(fā)送訂閱數(shù)據(jù)請求；

所述主節(jié)點(diǎn)，還用于接收訂閱數(shù)據(jù)請求，添加到訂閱隊(duì)列中，并在集群中同步訂閱隊(duì)列。

其中，所述負(fù)責(zé)節(jié)點(diǎn)，還用于定期檢查訂閱隊(duì)列，判斷訂閱數(shù)據(jù)請求中的訂閱進(jìn)度和當(dāng)前數(shù)據(jù)是否一致，如果不一致則將當(dāng)前數(shù)據(jù)組包構(gòu)造通知消息發(fā)送到訂閱的節(jié)點(diǎn)。

本發(fā)明還提供了一種分布式集群中數(shù)據(jù)管理的方法，所述方法包括：

主節(jié)點(diǎn)對存儲(chǔ)的數(shù)據(jù)進(jìn)行分區(qū)，為每個(gè)數(shù)據(jù)分區(qū)選擇一個(gè)從節(jié)點(diǎn)作為負(fù)責(zé)節(jié)點(diǎn)；

負(fù)責(zé)節(jié)點(diǎn)對所述負(fù)責(zé)節(jié)點(diǎn)負(fù)責(zé)的數(shù)據(jù)分區(qū)進(jìn)行管理。

其中，所述負(fù)責(zé)節(jié)點(diǎn)對自身負(fù)責(zé)的數(shù)據(jù)分區(qū)進(jìn)行管理，包括：

當(dāng)所述負(fù)責(zé)節(jié)點(diǎn)負(fù)責(zé)的數(shù)據(jù)分區(qū)的信息有變化時(shí)，由所述負(fù)責(zé)節(jié)點(diǎn)將變化的數(shù)據(jù)發(fā)送給其他從節(jié)點(diǎn)完成寫入操作；

定期檢查訂閱隊(duì)列，根據(jù)有效的訂閱請求向發(fā)送訂閱請求的從節(jié)點(diǎn)發(fā)送自身負(fù)責(zé)的數(shù)據(jù)分區(qū)內(nèi)的數(shù)據(jù)。

其中，所述主節(jié)點(diǎn)為每個(gè)數(shù)據(jù)分區(qū)選擇一個(gè)從節(jié)點(diǎn)作為負(fù)責(zé)節(jié)點(diǎn)具體是根據(jù)從節(jié)點(diǎn)的運(yùn)行狀態(tài)和從節(jié)點(diǎn)能力選擇負(fù)責(zé)節(jié)點(diǎn)。

其中，在負(fù)責(zé)節(jié)點(diǎn)管理的過程中，所述方法還包括：