[發(fā)明專利]數(shù)據(jù)全局處理系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201410638336.0
• 申請日: 2014-11-07
• 公開（公告）號: CN104408086B
• 公開（公告）日: 2018-02-06
• 發(fā)明（設(shè)計）人: 王鋒
• 申請（專利權(quán)）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京智匯東方知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11391
• 代理人: 康正德,郭海彬

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，特別是一種數(shù)據(jù)全局處理系統(tǒng)和方法。

背景技術(shù)

Cassandra是依賴DHT(Distributed Hash Table，分布式哈希表)技術(shù)實現(xiàn)的一種典型的無中心節(jié)點的環(huán)形結(jié)構(gòu)的分布式存儲系統(tǒng)。Cassandra數(shù)據(jù)存儲空間可以抽象為一個環(huán)形結(jié)構(gòu)，數(shù)據(jù)就是通過hash(哈希)分散在這個環(huán)形存儲空間上。每個節(jié)點負(fù)責(zé)管理這個環(huán)形存儲空間上的某一塊連續(xù)的Range(范圍)，落在此Range空間上的數(shù)據(jù)就存儲在這個節(jié)點上。

首先，由于Cassandra是一個無中心節(jié)點的分布式存儲系統(tǒng)，因此沒有任何一個中心節(jié)點集中管理集群的分布式信息。整個存儲系統(tǒng)的分布式管理信息是由集群中的所有節(jié)點之間相互通過Gossip協(xié)議進行協(xié)商同步，即各節(jié)點最終均會保存一份完整的分布式管理信息以及節(jié)點的存活狀態(tài)。正是由于這種節(jié)點之間的相互間的分布式信息同步，集群中所有節(jié)點間都是保持全相連的網(wǎng)絡(luò)關(guān)系，這種網(wǎng)絡(luò)連接結(jié)構(gòu)決定了單個Cassandra集群無法擴展的很大(例如，上萬臺機器的集群規(guī)模，單個節(jié)點上的網(wǎng)絡(luò)連接數(shù)就達到數(shù)萬條，對系統(tǒng)資源的開銷很大)。而為滿足海量數(shù)據(jù)存儲的需求，則需要搭建若干個一定節(jié)點規(guī)模的Cassandra存儲集群，并在適當(dāng)?shù)臅r候新建新的Cassandra集群。

其次，由于考慮到數(shù)據(jù)存儲效率的原因，存儲服務(wù)也往往分布于全國各地，來實現(xiàn)用戶數(shù)據(jù)的就近存儲。同樣作為存儲系統(tǒng)，Cassandra集群也會分布在全國各地的數(shù)據(jù)中心之中。而如何將這些分散在各地的存儲系統(tǒng)整合在一起，對外提供統(tǒng)一透明的存儲服務(wù)是一項十分重要的工作。存儲服務(wù)的接口無外乎是對數(shù)據(jù)的增、刪、改、查操作，而所有這些操作都基于對數(shù)據(jù)的全局定位，即定位該數(shù)據(jù)存儲在哪個數(shù)據(jù)集群中的哪個數(shù)據(jù)節(jié)點上。

目前，數(shù)據(jù)的全局存儲與定位常用的技術(shù)方案是基于規(guī)則的定位，即通過簡單的hash函數(shù)將數(shù)據(jù)直接分散到各Cassandra存儲集群中，而具體存儲在哪個數(shù)據(jù)節(jié)點上，則由該Cassandra集群內(nèi)部存儲機制實現(xiàn)。如圖1所示，根據(jù)數(shù)據(jù)(data)的某一特征計算得到該data的hash值，進而根據(jù)hash值與集群的映射關(guān)系，將其定位到A、B、C、D中的某個集群中，然后再通過Cassandra存儲集群的存儲定位策略，確定其存儲在該集群中的某個數(shù)據(jù)節(jié)點之上。然而，由于hash算法本身擴展性較差，當(dāng)全局存儲需要擴展新集群時，必然涉及各集群間數(shù)據(jù)的遷移，這個代價十分巨大的。其次，由于數(shù)據(jù)是通過hash算法進行存儲，數(shù)據(jù)在上傳或?qū)懭霑r該數(shù)據(jù)所在的目標(biāo)集群已經(jīng)由hash規(guī)則確定，因此無法保證實現(xiàn)數(shù)據(jù)的就近上傳或?qū)懭耄嬖陔娦沤尤氲臄?shù)據(jù)有可能被存儲到網(wǎng)通集群中去的情況，從而無法保證數(shù)據(jù)存儲的效率。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的數(shù)據(jù)全局處理系統(tǒng)和方法。

依據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)全局處理系統(tǒng)，包括全局?jǐn)?shù)據(jù)定位中心(Center Locator)，所述Center Locator耦接至多個分布式存儲系統(tǒng)(Cassandra)集群，其中，

每個Cassandra集群，適于將自身存儲的數(shù)據(jù)與具體存儲位置間的映射關(guān)系上傳至所述Center Locator；

所述Center Locator，適于接收并存儲每個Cassandra集群上傳的映射關(guān)系，并根據(jù)存儲的映射關(guān)系與各Cassandra集群之間通信。

可選地，每個Cassandra集群，還適于當(dāng)自身存儲的數(shù)據(jù)發(fā)生更新時，將更新部分的數(shù)據(jù)與具體存儲位置間的映射關(guān)系上傳至所述Center Locator。

可選地，所述更新部分的數(shù)據(jù)包括下列至少之一：

寫入的數(shù)據(jù)；

刪除的數(shù)據(jù)；

更改的數(shù)據(jù)。

可選地，所述Center Locator，還適于接收數(shù)據(jù)寫入請求時，在其耦接的多個Cassandra集群中，查找與待寫入數(shù)據(jù)的源地址距離最近的Cassandra集群地址作為目標(biāo)地址，將所述待寫入數(shù)據(jù)寫入所述目標(biāo)地址對應(yīng)的Cassandra集群。

可選地，任意一個Cassandra集群，還適于接收讀取指定數(shù)據(jù)的請求時，向所述Center Locator發(fā)起映射關(guān)系的查找請求；根據(jù)所述Center Locator返回的結(jié)果查找到所述指定數(shù)據(jù)的具體存儲位置進行數(shù)據(jù)讀取。

可選地，所述Center Locator，還適于將更新部分的數(shù)據(jù)與具體存儲位置間的映射關(guān)系同步至其耦接的所有Cassandra集群中；