[發(fā)明專(zhuān)利]數(shù)據(jù)冗余容錯(cuò)的適配管理設(shè)備、服務(wù)設(shè)備、系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201210305197.0
• 申請(qǐng)日: 2012-08-24
• 公開(kāi)（公告）號(hào): CN103631666A
• 公開(kāi)（公告）日: 2014-03-12
• 發(fā)明（設(shè)計(jì)）人: 柯尊友;王偉;葉郁文
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中興通訊股份有限公司
• 主分類(lèi)號(hào): G06F11/00
• 分類(lèi)號(hào): G06F11/00;G06F11/10
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11270
• 代理人: 蔣雅潔;張穎玲

技術(shù)領(lǐng)域

本發(fā)明涉及云計(jì)算應(yīng)用的云存儲(chǔ)技術(shù)，尤其涉及一種數(shù)據(jù)冗余容錯(cuò)的存儲(chǔ)適配管理設(shè)備、服務(wù)設(shè)備、系統(tǒng)及方法。

背景技術(shù)

全球數(shù)據(jù)量的猛增，帶動(dòng)著整個(gè)存儲(chǔ)市場(chǎng)的快速發(fā)展，使得云存儲(chǔ)技術(shù)得到大規(guī)模應(yīng)用。

云存儲(chǔ)作為一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)，通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類(lèi)型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能。通常云存儲(chǔ)系統(tǒng)設(shè)備采用通用的服務(wù)器，例如X86架構(gòu)服務(wù)器。這里，所謂x86為intel通用計(jì)算機(jī)系列的標(biāo)準(zhǔn)編號(hào)縮寫(xiě)，是特定微處理器執(zhí)行的一些計(jì)算機(jī)語(yǔ)言指令集，定義了芯片的基本使用規(guī)則。

數(shù)據(jù)存儲(chǔ)服務(wù)是云存儲(chǔ)服務(wù)商向用戶提供的重要服務(wù)內(nèi)容，因此數(shù)據(jù)的可靠性是用戶非常關(guān)心的一個(gè)性能，為了保證云存儲(chǔ)中數(shù)據(jù)的可靠性，需要采用數(shù)據(jù)冗余技術(shù)，即依靠云存儲(chǔ)軟件提供數(shù)據(jù)冗余容錯(cuò)的冗余存儲(chǔ)方式，現(xiàn)有的云存儲(chǔ)軟件層次的冗余存儲(chǔ)方式包括糾刪碼(EC，Erasure?Code)方式、副本方式等。

針對(duì)EC方式而言，所謂EC方式是將原始數(shù)據(jù)分為N+M塊，M塊為校驗(yàn)數(shù)據(jù)，只要任意N塊數(shù)據(jù)可用，即可恢復(fù)原始數(shù)據(jù)?？膳渲弥С?+3，10+2，10+6等多種EC方式，滿足不同可靠性和磁盤(pán)利用率的需要，例如，9+3指N＝9，M＝3時(shí)的EC方式。EC方式區(qū)別于完全副本備份的冗余存儲(chǔ)方式，不是直接存儲(chǔ)原始數(shù)據(jù)自身，而是將原始數(shù)據(jù)分割成多個(gè)數(shù)據(jù)塊，通過(guò)編碼算法先計(jì)算出校驗(yàn)數(shù)據(jù)，然后將原始數(shù)據(jù)和校驗(yàn)數(shù)據(jù)分布存儲(chǔ)在整個(gè)廣域網(wǎng)中不同的存儲(chǔ)服務(wù)器上，提供給用戶訪問(wèn)(通過(guò)校驗(yàn)數(shù)據(jù)塊對(duì)從不同存儲(chǔ)服務(wù)器上獲取的原始數(shù)據(jù)塊進(jìn)行重組校驗(yàn))。雖然，節(jié)約了存儲(chǔ)空間，但是，該編碼計(jì)算和重組校驗(yàn)會(huì)影響到訪問(wèn)效率和數(shù)據(jù)可靠性。

針對(duì)副本方式而言，所謂副本方式是為原始數(shù)據(jù)簡(jiǎn)單復(fù)制一份或多份數(shù)據(jù)，并同時(shí)存儲(chǔ)和提供訪問(wèn)。副本方式是一種完全副本備份的冗余存儲(chǔ)方式，通過(guò)生成多個(gè)原始數(shù)據(jù)的副本，并將這些原始數(shù)據(jù)的副本分別存儲(chǔ)在廣域網(wǎng)中不同的存儲(chǔ)服務(wù)器上，以達(dá)到備份的目的，只要有一個(gè)副本保持完整，原始數(shù)據(jù)就可以正常獲取并提供給用戶訪問(wèn)，也就是說(shuō)，只要有一個(gè)副本可以訪問(wèn)，數(shù)據(jù)就不會(huì)丟失，數(shù)據(jù)可靠性高，但是會(huì)過(guò)多地占用存儲(chǔ)空間。

對(duì)比以上EC方式和副本方式的不同實(shí)現(xiàn)方式可知：EC方式在與副本方式得到相同可靠性的條件下，能節(jié)約存儲(chǔ)空間，但是，編碼和重組校驗(yàn)會(huì)較多地開(kāi)銷(xiāo)計(jì)算處理能力，導(dǎo)致訪問(wèn)效率低；而副本方式訪問(wèn)效率高，但是存儲(chǔ)空間利用率不高。

目前，采用現(xiàn)有技術(shù)，只能采用以上任一種、單一的冗余存儲(chǔ)方式，各有優(yōu)劣，沒(méi)法對(duì)存儲(chǔ)方式進(jìn)行靈活地適配調(diào)整。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種數(shù)據(jù)冗余容錯(cuò)的存儲(chǔ)適配管理設(shè)備、服務(wù)設(shè)備、系統(tǒng)及方法，能實(shí)現(xiàn)云存儲(chǔ)中對(duì)存儲(chǔ)方式進(jìn)行靈活地適配調(diào)整。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種數(shù)據(jù)冗余容錯(cuò)的存儲(chǔ)適配管理設(shè)備，該設(shè)備包括：管理服務(wù)模塊，用于配置云存儲(chǔ)中的數(shù)據(jù)冗余容錯(cuò)方式及其適配策略，將所述數(shù)據(jù)冗余容錯(cuò)方式及其適配策略提供給服務(wù)側(cè)訪問(wèn)并指示服務(wù)側(cè)選擇相適配的數(shù)據(jù)冗余容錯(cuò)方式。

其中，所述管理服務(wù)模塊，進(jìn)一步用于根據(jù)存儲(chǔ)域、和/或應(yīng)用、和/或用戶、和/或數(shù)據(jù)對(duì)象配置所述數(shù)據(jù)冗余容錯(cuò)方式及其適配策略。

其中，所述管理服務(wù)模塊，進(jìn)一步用于在視頻點(diǎn)播類(lèi)服務(wù)的應(yīng)用場(chǎng)景下配置所述數(shù)據(jù)冗余容錯(cuò)方式及其適配策略時(shí)，對(duì)熱點(diǎn)視頻文件，需配置選用副本方式；對(duì)非熱點(diǎn)視頻文件，需配置選用糾刪碼EC方式。

其中，所述管理服務(wù)模塊，進(jìn)一步用于在設(shè)備故障維護(hù)管理的應(yīng)用場(chǎng)景下配置所述數(shù)據(jù)冗余容錯(cuò)方式及其適配策略時(shí)，配置一個(gè)存儲(chǔ)域?qū)?yīng)預(yù)留多個(gè)富余安全數(shù)據(jù)塊，并配置副本方式和EC方式都適用。

其中，所述管理服務(wù)模塊，進(jìn)一步用于在剩余物理存儲(chǔ)空間不夠?qū)е孪到y(tǒng)告警的應(yīng)用場(chǎng)景下配置所述數(shù)據(jù)冗余容錯(cuò)方式及其適配策略時(shí)，配置一個(gè)存儲(chǔ)域?qū)?yīng)預(yù)留的多個(gè)富余安全數(shù)據(jù)塊的數(shù)量需要降低，并配置副本方式和EC方式都適用；當(dāng)檢測(cè)到以副本方式存儲(chǔ)的數(shù)據(jù)塊其對(duì)應(yīng)熱度降低時(shí)，改為選用EC方式。

一種數(shù)據(jù)冗余容錯(cuò)的存儲(chǔ)適配服務(wù)設(shè)備，該設(shè)備包括：元數(shù)據(jù)服務(wù)模塊、數(shù)據(jù)服務(wù)模塊；其中，

所述元數(shù)據(jù)服務(wù)模塊，用于訪問(wèn)管理側(cè)并讀取配置的所述數(shù)據(jù)冗余容錯(cuò)方式及其適配策略，選擇相適配的數(shù)據(jù)冗余容錯(cuò)方式并對(duì)自身的數(shù)據(jù)冗余容錯(cuò)方式進(jìn)行適配調(diào)整；將已適配調(diào)整自身數(shù)據(jù)冗余容錯(cuò)方式的指示發(fā)送給所述數(shù)據(jù)服務(wù)模塊；