[發(fā)明專利]一種數(shù)據(jù)存儲(chǔ)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710681123.X
• 申請(qǐng)日: 2017-08-10
• 公開（公告）號(hào): CN109388335B
• 公開（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 馮立峰;張紅星;王琦;周祎春;柳向前;王新中;胡志儉;秦巖;于剛;田甲星;姬婷;杜紅巖
• 申請(qǐng)（專利權(quán)）人: 中國移動(dòng)通信集團(tuán)寧夏有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩;李官

本發(fā)明實(shí)施例提供一種數(shù)據(jù)存儲(chǔ)方法及系統(tǒng)。所述方法包括：獲取待存儲(chǔ)數(shù)據(jù)及其數(shù)據(jù)名稱，并將待存儲(chǔ)數(shù)據(jù)按照預(yù)設(shè)大小進(jìn)行切分獲得多個(gè)數(shù)據(jù)分片及每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的數(shù)據(jù)分片序號(hào)；根據(jù)數(shù)據(jù)名稱和數(shù)據(jù)分片序號(hào)，利用哈希算法獲得數(shù)據(jù)分片對(duì)應(yīng)的第二存儲(chǔ)區(qū)域的第二區(qū)域序號(hào)；根據(jù)數(shù)據(jù)名稱、數(shù)據(jù)分片序號(hào)、第二區(qū)域序號(hào)和數(shù)據(jù)分片的副本對(duì)應(yīng)的副本序號(hào)，利用哈希算法獲得數(shù)據(jù)分片的副本對(duì)應(yīng)的第一存儲(chǔ)區(qū)域中的磁盤序號(hào)；將數(shù)據(jù)分片的副本存儲(chǔ)到磁盤序號(hào)對(duì)應(yīng)的磁盤中。所述系統(tǒng)用于執(zhí)行所述方法。本發(fā)明實(shí)施例通過利用哈希算法確定數(shù)據(jù)分片對(duì)應(yīng)的第二存儲(chǔ)區(qū)域以及數(shù)據(jù)分片副本對(duì)應(yīng)的第一存儲(chǔ)區(qū)域中的磁盤并進(jìn)行存儲(chǔ)，提高了數(shù)據(jù)存儲(chǔ)的安全性。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)存儲(chǔ)方法及系統(tǒng)。

背景技術(shù)

隨著云計(jì)算和大數(shù)據(jù)等技術(shù)的推廣，數(shù)據(jù)存儲(chǔ)的需求呈現(xiàn)爆發(fā)式增長。分布式存儲(chǔ)系統(tǒng)通過軟件將分散存放于不同存儲(chǔ)節(jié)點(diǎn)服務(wù)器上數(shù)據(jù)進(jìn)行聚合，可實(shí)現(xiàn)存儲(chǔ)節(jié)點(diǎn)服務(wù)器的通用性，使得存儲(chǔ)系統(tǒng)的容量和性能可以方便的線性擴(kuò)展。

為保障分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)的高可靠性，一般的采用多副本冗余存放方式解決。首先將數(shù)據(jù)拆分為M個(gè)固定字節(jié)的分片，在數(shù)據(jù)存放時(shí)，每一個(gè)單獨(dú)的數(shù)據(jù)分片都會(huì)存放R個(gè)副本，副本按照一定規(guī)則存放在R個(gè)不同的存儲(chǔ)節(jié)點(diǎn)上，這R個(gè)存儲(chǔ)節(jié)點(diǎn)就是一個(gè)副本邏輯組。當(dāng)這R個(gè)存儲(chǔ)節(jié)點(diǎn)同時(shí)出現(xiàn)故障時(shí)，數(shù)據(jù)分片必然會(huì)出現(xiàn)無法訪問的情況，導(dǎo)致數(shù)據(jù)無法恢復(fù)。現(xiàn)有技術(shù)方案是按照server模式或者rack模式兩種規(guī)則進(jìn)行數(shù)據(jù)冗余存放，以下舉例說明：

假設(shè)現(xiàn)有N個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，數(shù)據(jù)冗余存放R個(gè)副本(RN)。如果數(shù)據(jù)完全隨機(jī)存放，即隨機(jī)放置于R個(gè)數(shù)據(jù)磁盤上，那么總計(jì)會(huì)存在副本邏輯組的數(shù)量為C(R,N)。那么，系統(tǒng)在存滿數(shù)據(jù)情況下，隨機(jī)有R個(gè)硬盤同時(shí)發(fā)生故障時(shí)，數(shù)據(jù)必然會(huì)出現(xiàn)丟失。一般情況下，分布式存儲(chǔ)系統(tǒng)采用3副本模式，以取得數(shù)據(jù)可靠性、性能及經(jīng)濟(jì)性的平衡，下面的例子以3副本計(jì)算。

(1)server模式

采用server模式，即每個(gè)數(shù)據(jù)分片隨機(jī)的從R個(gè)不同的服務(wù)器中分別各取一個(gè)磁盤進(jìn)行存放。這種模式下，在存滿數(shù)據(jù)情況下，隨機(jī)有R個(gè)硬盤同時(shí)發(fā)生故障時(shí)，數(shù)據(jù)丟失的概率為該模式下副本邏輯組的總數(shù)量/完全隨機(jī)模式下的副本邏輯組總數(shù)量，即數(shù)據(jù)丟失的概率L如公式(1)所示：

公式(1)中，代表從Srs個(gè)服務(wù)器節(jié)點(diǎn)中隨機(jī)抽取R個(gè)的組合數(shù)，Sn^R代表每個(gè)服務(wù)器節(jié)點(diǎn)中的存儲(chǔ)磁盤數(shù)量Sn求取R次方，代表從N個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)隨機(jī)抽取R個(gè)的組合數(shù)。

因此，假設(shè)副本數(shù)為3，當(dāng)有12臺(tái)存儲(chǔ)節(jié)點(diǎn)服務(wù)器、每臺(tái)服務(wù)器5個(gè)硬盤，共有60個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)時(shí)，上述情形發(fā)生數(shù)據(jù)丟失的概率為80.36％；當(dāng)存儲(chǔ)節(jié)點(diǎn)數(shù)量為120個(gè)時(shí)，上述情形下發(fā)生數(shù)據(jù)丟失的概率為90.09％。

(2)rack模式

采用rack模式，即每個(gè)數(shù)據(jù)分片隨機(jī)的從R個(gè)不同的機(jī)柜中分別各取一個(gè)服務(wù)器的磁盤進(jìn)行存放。這種模式下，在存滿數(shù)據(jù)情況下，隨機(jī)有R個(gè)硬盤同時(shí)發(fā)生故障時(shí)，數(shù)據(jù)丟失的概率L如公式(2)所示：

公式(2)中，代表從Rk個(gè)機(jī)柜中隨機(jī)抽取R個(gè)的組合數(shù)，Rn^R代表每個(gè)機(jī)柜中的存儲(chǔ)磁盤數(shù)量Rn求取R次方，代表從N個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)隨機(jī)抽取R個(gè)的組合數(shù)。

因此，假設(shè)副本數(shù)為3，當(dāng)有3個(gè)機(jī)柜、每個(gè)機(jī)柜有4臺(tái)存儲(chǔ)節(jié)點(diǎn)服務(wù)器、每臺(tái)服務(wù)器5個(gè)硬盤時(shí)，共有60個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，上述情形發(fā)生數(shù)據(jù)丟失的概率為23.38％；當(dāng)存儲(chǔ)節(jié)點(diǎn)數(shù)量為120個(gè)時(shí)，上述情形下發(fā)生數(shù)據(jù)丟失的概率為56.97％。

由上可知，無論是按照server模式還是rack模式進(jìn)行分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)冗余存放，均會(huì)存在隨著數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)數(shù)量的增加，數(shù)據(jù)丟失的可能性會(huì)隨之增加的問題。