[發(fā)明專利]一種數(shù)據(jù)存儲(chǔ)方法及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201210587462.9
• 申請(qǐng)日: 2012-12-28
• 公開（公告）號(hào): CN103905517A
• 公開（公告）日: 2014-07-02
• 發(fā)明（設(shè)計(jì)）人: 郭磊濤;錢嶺;王娟
• 申請(qǐng)（專利權(quán)）人: 中國(guó)移動(dòng)通信集團(tuán)公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 北京鑫媛睿博知識(shí)產(chǎn)權(quán)代理有限公司 11297
• 代理人: 龔家驊

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)存儲(chǔ)方法，本發(fā)明還涉及一種數(shù)據(jù)存儲(chǔ)設(shè)備。

背景技術(shù)

目前，分布式存儲(chǔ)系統(tǒng)已經(jīng)成為大數(shù)據(jù)應(yīng)用解決方案的基礎(chǔ)組件，有大量的軟件系統(tǒng)和應(yīng)用基于分布式存儲(chǔ)開發(fā)和運(yùn)行，而每一種軟件和應(yīng)用對(duì)分布式存儲(chǔ)系統(tǒng)具有不同的服務(wù)質(zhì)量QoS的需求。例如，對(duì)于分布式數(shù)據(jù)挖掘應(yīng)用來(lái)說(shuō)，其需要存儲(chǔ)大量的數(shù)據(jù)并以此進(jìn)行分布式計(jì)算分析，典型應(yīng)用如“大云”BC-PDM（parallel?data?mining）其運(yùn)行在HDFS分布式文件系統(tǒng)上，并利用MapReduce并行計(jì)算框架進(jìn)行分析。BC-PDM對(duì)分布式存儲(chǔ)系統(tǒng)的主要需求是大容量以及節(jié)點(diǎn)間數(shù)據(jù)交換能力。而對(duì)于同樣構(gòu)建在HDFS上的“鍵值對(duì)”系統(tǒng)HBase來(lái)說(shuō)，其對(duì)HDFS除了容量需求外，還需要大的內(nèi)存空間需求以及快速的磁盤讀寫IO。甚至，在HBase系統(tǒng)內(nèi)部的各個(gè)模塊對(duì)存儲(chǔ)系統(tǒng)的需求也是不一樣的，例如HBase系統(tǒng)的元數(shù)據(jù)信息和數(shù)據(jù)信息均保存在分布式文件系統(tǒng)中，由于元數(shù)據(jù)信息經(jīng)常更新和讀取，其需要存儲(chǔ)在性能更高的磁盤上。

如圖1所示，為分布式存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖，系統(tǒng)一般由多個(gè)從節(jié)點(diǎn)、一個(gè)或多個(gè)主節(jié)點(diǎn)和客戶端組成。數(shù)據(jù)被分散存儲(chǔ)到各個(gè)從節(jié)點(diǎn)上，主節(jié)點(diǎn)負(fù)責(zé)管理系統(tǒng)中的元數(shù)據(jù)信息，從節(jié)點(diǎn)負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)，客戶端通過(guò)與主節(jié)點(diǎn)和從節(jié)點(diǎn)直接交互實(shí)現(xiàn)數(shù)據(jù)的讀寫。

為了滿足數(shù)據(jù)存儲(chǔ)的需求，現(xiàn)有技術(shù)提出了如下一些解決方案：

（1）調(diào)整副本數(shù)滿足讀寫性能的需求：如監(jiān)控?cái)?shù)據(jù)的熱度，根據(jù)熱度調(diào)整數(shù)據(jù)副本的數(shù)量；

（2）調(diào)整數(shù)據(jù)放置的位置滿足網(wǎng)絡(luò)的需求：如通過(guò)將數(shù)據(jù)副本放置在邊緣服務(wù)器，從而滿足網(wǎng)絡(luò)帶寬的要求。

以上方案僅通過(guò)簡(jiǎn)單的增加副本或改變數(shù)據(jù)放置位置來(lái)滿足讀寫性能及網(wǎng)絡(luò)帶寬的要求，無(wú)法提供有QoS保證的數(shù)據(jù)存儲(chǔ)服務(wù)。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)存儲(chǔ)方法，根據(jù)數(shù)據(jù)存儲(chǔ)的基本需求以及特殊需求確定性價(jià)比最高的數(shù)據(jù)存儲(chǔ)計(jì)劃，并以此存儲(chǔ)數(shù)據(jù)，從而保證數(shù)據(jù)存儲(chǔ)的QoS需求。

為達(dá)到上述目的，本發(fā)明一方面提供了一種數(shù)據(jù)存儲(chǔ)的方法，包括：

接收數(shù)據(jù)存儲(chǔ)請(qǐng)求消息，獲取所述數(shù)據(jù)存儲(chǔ)請(qǐng)求消息中攜帶的基本需求信息以及特殊需求信息；

根據(jù)系統(tǒng)資源信息和所述基本需求信息生成至少一個(gè)數(shù)據(jù)存儲(chǔ)計(jì)劃；

根據(jù)所述基本需求信息以及特殊需求信息確定所述數(shù)據(jù)存儲(chǔ)計(jì)劃的綜合評(píng)分；

根據(jù)所述系統(tǒng)資源信息以及所述數(shù)據(jù)存儲(chǔ)計(jì)劃的綜合評(píng)分確定所述數(shù)據(jù)存儲(chǔ)計(jì)劃的性價(jià)比；

選取性價(jià)比最高的數(shù)據(jù)存儲(chǔ)計(jì)劃，并依據(jù)所述性價(jià)比最高的數(shù)據(jù)存儲(chǔ)計(jì)劃存儲(chǔ)數(shù)據(jù)。

另一方面，本發(fā)明還提供了一種數(shù)據(jù)存儲(chǔ)設(shè)備，包括：

獲取模塊，用于獲取接收到的數(shù)據(jù)存儲(chǔ)請(qǐng)求消息中攜帶的基本需求信息以及特殊需求信息；

生成模塊，用于根據(jù)系統(tǒng)資源信息和所述基本需求信息生成至少一個(gè)數(shù)據(jù)存儲(chǔ)計(jì)劃；；

確定模塊，用于根據(jù)所述基本需求信息以及特殊需求信息確定所述數(shù)據(jù)存儲(chǔ)計(jì)劃的綜合評(píng)分，并根據(jù)所述系統(tǒng)資源信息以及所述數(shù)據(jù)存儲(chǔ)計(jì)劃的綜合評(píng)分得到所述數(shù)據(jù)存儲(chǔ)計(jì)劃的性價(jià)比；

存儲(chǔ)模塊，用于選取性價(jià)比最高的數(shù)據(jù)存儲(chǔ)計(jì)劃，并依據(jù)所述性價(jià)比最高的數(shù)據(jù)存儲(chǔ)計(jì)劃存儲(chǔ)數(shù)據(jù)。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

本發(fā)明基于數(shù)據(jù)存儲(chǔ)的基本需求以及特殊需求，確定性價(jià)比最高的數(shù)據(jù)存儲(chǔ)計(jì)劃，并根據(jù)性價(jià)比最高的數(shù)據(jù)存儲(chǔ)計(jì)劃進(jìn)行數(shù)據(jù)存儲(chǔ)，保證了數(shù)據(jù)存儲(chǔ)的QoS需求。

附圖說(shuō)明

圖1為現(xiàn)有技術(shù)中分布式存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本發(fā)明實(shí)施例提供的一種數(shù)據(jù)存儲(chǔ)方法流程示意圖；

圖3為本發(fā)明具體實(shí)施例提供的一種數(shù)據(jù)存儲(chǔ)方法流程示意圖；

圖4為本發(fā)明實(shí)施例提供的一種數(shù)據(jù)存儲(chǔ)設(shè)備結(jié)構(gòu)示意圖。

具體實(shí)施方式

基于現(xiàn)有技術(shù)方案的不足，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)方法，根據(jù)數(shù)據(jù)存儲(chǔ)的基本需求以及特殊需求確定性價(jià)比最高的數(shù)據(jù)存儲(chǔ)計(jì)劃，并以此存儲(chǔ)數(shù)據(jù)，從而保證數(shù)據(jù)存儲(chǔ)的QoS需求。

下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例進(jìn)行詳細(xì)描述。

參見(jiàn)圖2，為本發(fā)明提出的一種數(shù)據(jù)存儲(chǔ)方法，該方法具體包括以下步驟：

步驟201，接收數(shù)據(jù)存儲(chǔ)請(qǐng)求消息，獲取所述數(shù)據(jù)存儲(chǔ)請(qǐng)求消息中攜帶的基本需求信息以及特殊需求信息。