[發(fā)明專利]多集群系統(tǒng)和控制多集群系統(tǒng)的數(shù)據(jù)存儲(chǔ)的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410064882.8
• 申請(qǐng)日: 2014-02-25
• 公開(kāi)（公告）號(hào): CN104869140B
• 公開(kāi)（公告）日: 2018-05-22
• 發(fā)明（設(shè)計(jì)）人: 喬平;姜煒
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06F3/06
• 代理公司: 北京國(guó)昊天誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許志勇

本申請(qǐng)的提供一種多集群系統(tǒng)和控制多集群系統(tǒng)的數(shù)據(jù)存儲(chǔ)的方法，包括：收集主存儲(chǔ)集群和次存儲(chǔ)集群中存儲(chǔ)的數(shù)據(jù)的元數(shù)據(jù)；根據(jù)主存儲(chǔ)集群和次存儲(chǔ)集群中存儲(chǔ)的數(shù)據(jù)的元數(shù)據(jù)確定主存儲(chǔ)集群和次存儲(chǔ)集群中存儲(chǔ)的數(shù)據(jù)的活躍程度；根據(jù)主存儲(chǔ)集群和次存儲(chǔ)集群中存儲(chǔ)的數(shù)據(jù)的活躍程度識(shí)別主存儲(chǔ)集群中存儲(chǔ)的沉默數(shù)據(jù)以及次存儲(chǔ)集群中存儲(chǔ)的活躍數(shù)據(jù)；將任意次存儲(chǔ)集群中存儲(chǔ)的活躍數(shù)據(jù)遷移至任意主存儲(chǔ)集群中存儲(chǔ)以及將任意主存儲(chǔ)集群中存儲(chǔ)的沉默數(shù)據(jù)遷移至任意次存儲(chǔ)集群中存儲(chǔ)。采用本申請(qǐng)的技術(shù)方案，能解決存儲(chǔ)集群與計(jì)算集群的處理能力存在差異的問(wèn)題，實(shí)現(xiàn)不同存儲(chǔ)集群之間的數(shù)據(jù)直讀直寫和整體上的資源調(diào)度，并能提升存儲(chǔ)集群磁盤利用率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種多集群系統(tǒng)和控制多集群系統(tǒng)的數(shù)據(jù)存儲(chǔ)的方法。

背景技術(shù)

隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)（Big data）也吸引了越來(lái)越多的關(guān)注，大數(shù)據(jù)的概念已經(jīng)日益清晰，但解決大數(shù)據(jù)的存儲(chǔ)問(wèn)題仍然是擺在每個(gè)用戶面前的一道難題。目前，已知的主流分布式存儲(chǔ)系統(tǒng)在設(shè)計(jì)上一般都采用主從（master-slave）體系結(jié)構(gòu)，一個(gè)分布式存儲(chǔ)系統(tǒng)由一個(gè)名字節(jié)點(diǎn)（Namenode）加上若干個(gè)數(shù)據(jù)節(jié)點(diǎn)（Datanode）組成。單集群的規(guī)模受限于名字節(jié)點(diǎn)的內(nèi)存和處理能力的上限。名字節(jié)點(diǎn)在內(nèi)存中存儲(chǔ)了整個(gè)分布式文件系統(tǒng)中的元數(shù)據(jù)信息，限制了集群中數(shù)據(jù)塊、文件和目錄的數(shù)目，文件系統(tǒng)中所有元數(shù)據(jù)信息的讀取和操作都必須與名字節(jié)點(diǎn)通信才能進(jìn)行，所以，文件操作的性能受制于單個(gè)名字節(jié)點(diǎn)的吞吐量，單個(gè)名字節(jié)點(diǎn)所能存儲(chǔ)的對(duì)象受限于名字節(jié)點(diǎn)內(nèi)存的容量。目前的設(shè)計(jì)，單個(gè)存儲(chǔ)集群能夠支持5000個(gè)節(jié)點(diǎn)，而單個(gè)計(jì)算集群能夠支持50000個(gè)節(jié)點(diǎn)以上的規(guī)模，可見(jiàn)，存儲(chǔ)集群與計(jì)算集群的處理能力存在比較大的差異。隨著數(shù)據(jù)的爆炸式增長(zhǎng)以及業(yè)務(wù)規(guī)模的迅速擴(kuò)展，存儲(chǔ)和計(jì)算綁定的單集群模式將達(dá)到計(jì)算、存儲(chǔ)與流量瓶頸。

現(xiàn)有的解決方案，一種是采用大集群模式，通過(guò)HDFS Federation（名字節(jié)點(diǎn)水平擴(kuò)展方案，允許分布式文件系統(tǒng)HDFS創(chuàng)建多個(gè)名字空間namespace以提高集群的擴(kuò)展性和隔離性）方案將文件系統(tǒng)擴(kuò)展為多個(gè)名字節(jié)點(diǎn)，能夠增加文件系統(tǒng)讀寫操作的吞吐量，一個(gè)集群可以共享及管理所有資源；一種是采用多集群模式，按照業(yè)務(wù)邏輯拆分成若干個(gè)集群，各個(gè)集群之間沒(méi)有影響，容易水平擴(kuò)展。

然而，采用大集群模式，對(duì)于多個(gè)名字節(jié)點(diǎn)需采用均衡機(jī)制，且集群出現(xiàn)故障時(shí)恢復(fù)時(shí)間長(zhǎng)，影響面大；采用多集群模式，由于各個(gè)集群的應(yīng)用特點(diǎn)不同，它們的利用率可能不一致，可能出現(xiàn)在某一時(shí)間段有的集群業(yè)務(wù)繁忙、資源利用率高，甚至需要排隊(duì)等待資源，而有的集群業(yè)務(wù)空閑，資源利用率低的情況，而且多集群模式還需要考慮集群之間的數(shù)據(jù)共享，跨集群計(jì)算等等問(wèn)題，架構(gòu)更為復(fù)雜。并且，上述方案采用的都是存儲(chǔ)和計(jì)算綁定（Data-Compute Combined Deployment）模型，當(dāng)計(jì)算能力不足需要擴(kuò)容時(shí)，增加計(jì)算節(jié)點(diǎn)的同時(shí)也必須增加存儲(chǔ)節(jié)點(diǎn)，無(wú)法靈活定制，會(huì)造成存儲(chǔ)或計(jì)算資源的浪費(fèi)。

綜上所述，需要提出一種控制集群系統(tǒng)中數(shù)據(jù)的存儲(chǔ)方案。

發(fā)明內(nèi)容

本申請(qǐng)的主要目的在于提供一種多集群系統(tǒng)和控制多集群系統(tǒng)的數(shù)據(jù)存儲(chǔ)的方法，以解決現(xiàn)有技術(shù)存在的由于使用存儲(chǔ)和計(jì)算綁定模型的存儲(chǔ)集群與計(jì)算集群的處理能力的差異，以及活躍數(shù)據(jù)與沉默數(shù)據(jù)的等同處理帶來(lái)的存儲(chǔ)利用率低下的問(wèn)題，各個(gè)集群業(yè)務(wù)邏輯不通導(dǎo)致的各個(gè)集群的資源利用不平衡，且不能在整體上進(jìn)行資源調(diào)度的問(wèn)題，其中：

本申請(qǐng)的提供了一種控制多集群系統(tǒng)的數(shù)據(jù)存儲(chǔ)的方法，包括：收集主存儲(chǔ)集群和次存儲(chǔ)集群中存儲(chǔ)的數(shù)據(jù)的元數(shù)據(jù)；根據(jù)所述主存儲(chǔ)集群和次存儲(chǔ)集群中存儲(chǔ)的數(shù)據(jù)的元數(shù)據(jù)確定所述主存儲(chǔ)集群和次存儲(chǔ)集群中存儲(chǔ)的數(shù)據(jù)的活躍程度；根據(jù)所述主存儲(chǔ)集群和次存儲(chǔ)集群中存儲(chǔ)的數(shù)據(jù)的活躍程度識(shí)別所述主存儲(chǔ)集群中存儲(chǔ)的沉默數(shù)據(jù)以及所述次存儲(chǔ)集群中存儲(chǔ)的活躍數(shù)據(jù)；以及將任意次存儲(chǔ)集群中存儲(chǔ)的活躍數(shù)據(jù)遷移至任意主存儲(chǔ)集群中存儲(chǔ)以及將任意主存儲(chǔ)集群中存儲(chǔ)的沉默數(shù)據(jù)遷移至任意次存儲(chǔ)集群中存儲(chǔ)。