[發(fā)明專利]一種分布式數(shù)據(jù)存儲(chǔ)的方法及相關(guān)裝置

在審

• 申請?zhí)枺?/td>: 201811554204.4
• 申請日: 2018-12-18
• 公開（公告）號(hào): CN109388351A
• 公開（公告）日: 2019-02-26
• 發(fā)明（設(shè)計(jì)）人: 丁磊
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本發(fā)明涉及分布式存儲(chǔ)領(lǐng)域，提供了一種分布式數(shù)據(jù)存儲(chǔ)的方法及相關(guān)裝置。一種分布式數(shù)據(jù)存儲(chǔ)的方法包括：獲取存儲(chǔ)集群數(shù)據(jù)，其中，存儲(chǔ)集群數(shù)據(jù)包括N個(gè)存儲(chǔ)節(jié)點(diǎn)的位置、N個(gè)存儲(chǔ)節(jié)點(diǎn)的進(jìn)程和N個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載量，N為正整數(shù)；對待存儲(chǔ)數(shù)據(jù)進(jìn)行處理以得到M個(gè)數(shù)據(jù)塊，其中，M為不大于N的正整數(shù)；在存儲(chǔ)集群數(shù)據(jù)中查找與M個(gè)數(shù)據(jù)塊匹配的M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置，其中，M個(gè)數(shù)據(jù)塊與M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置一一對應(yīng)，M個(gè)存儲(chǔ)節(jié)點(diǎn)屬于N個(gè)存儲(chǔ)節(jié)點(diǎn)；根據(jù)M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置將M個(gè)數(shù)據(jù)塊存儲(chǔ)在M個(gè)存儲(chǔ)節(jié)點(diǎn)中，其中，M個(gè)數(shù)據(jù)塊與M個(gè)存儲(chǔ)節(jié)點(diǎn)一一對應(yīng)。本發(fā)明實(shí)施例的技術(shù)方案，提高了分布式存儲(chǔ)系統(tǒng)的可靠性和效率。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲(chǔ)領(lǐng)域，尤其是一種分布式數(shù)據(jù)存儲(chǔ)的方法及相關(guān)裝置。

背景技術(shù)

傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中式的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，系統(tǒng)的可靠性和安全性都通過存儲(chǔ)服務(wù)器體現(xiàn)，為了滿足大規(guī)模存儲(chǔ)應(yīng)用的需要，越來越多的存儲(chǔ)系統(tǒng)采用分布式存儲(chǔ)系統(tǒng)，分布式存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用元數(shù)據(jù)服務(wù)器定位存儲(chǔ)信息。

目前的分布式存儲(chǔ)系統(tǒng)中，終端存儲(chǔ)數(shù)據(jù)時(shí)，先向元數(shù)據(jù)服務(wù)器查找存儲(chǔ)節(jié)點(diǎn)的位置，然后終端根據(jù)存儲(chǔ)節(jié)點(diǎn)的位置將待存儲(chǔ)數(shù)據(jù)存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中，這樣當(dāng)元數(shù)據(jù)服務(wù)器崩潰或宕機(jī)時(shí)，分布式存儲(chǔ)系統(tǒng)就不能工作了，分布式存儲(chǔ)系統(tǒng)的可靠性較低，并且，當(dāng)多個(gè)終端存儲(chǔ)數(shù)據(jù)時(shí)，多個(gè)終端都需要向元數(shù)據(jù)服務(wù)器發(fā)送查找存儲(chǔ)節(jié)點(diǎn)位置請求，元數(shù)據(jù)服務(wù)器的工作壓力較大，分布式存儲(chǔ)系統(tǒng)的效率較低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供分布式數(shù)據(jù)存儲(chǔ)的方法及相關(guān)裝置，以期提高分布式存儲(chǔ)系統(tǒng)的可靠性和效率。

本發(fā)明第一方面提供一種分布式數(shù)據(jù)存儲(chǔ)的方法，包括：

獲取存儲(chǔ)集群數(shù)據(jù)，其中，所述存儲(chǔ)集群數(shù)據(jù)包括N個(gè)存儲(chǔ)節(jié)點(diǎn)的位置、所述N個(gè)存儲(chǔ)節(jié)點(diǎn)的進(jìn)程和所述N個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載量，N為正整數(shù)；

對待存儲(chǔ)數(shù)據(jù)進(jìn)行處理以得到M個(gè)數(shù)據(jù)塊，其中，M為不大于N的正整數(shù)；

在所述存儲(chǔ)集群數(shù)據(jù)中查找與所述M個(gè)數(shù)據(jù)塊匹配的M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置，其中，所述M個(gè)數(shù)據(jù)塊與所述M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置一一對應(yīng)，所述M個(gè)存儲(chǔ)節(jié)點(diǎn)屬于所述N個(gè)存儲(chǔ)節(jié)點(diǎn)；

根據(jù)所述M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置將所述M個(gè)數(shù)據(jù)塊存儲(chǔ)在所述M個(gè)存儲(chǔ)節(jié)點(diǎn)中，其中，所述M個(gè)數(shù)據(jù)塊與所述M個(gè)存儲(chǔ)節(jié)點(diǎn)一一對應(yīng)。

優(yōu)選的，對所述待存儲(chǔ)數(shù)據(jù)進(jìn)行處理以得到所述M個(gè)數(shù)據(jù)塊包括將所述待存儲(chǔ)數(shù)據(jù)平均劃分為所述M個(gè)數(shù)據(jù)塊，所述M個(gè)數(shù)據(jù)塊中每個(gè)數(shù)據(jù)塊的大小為K，K包括4MB、8MB、16MB、32MB的任意一種。

可選的，對所述待存儲(chǔ)數(shù)據(jù)進(jìn)行處理以得到所述M個(gè)數(shù)據(jù)塊還包括將所述待存儲(chǔ)數(shù)據(jù)中的數(shù)據(jù)按照關(guān)聯(lián)度劃分為所述M個(gè)數(shù)據(jù)塊，所述M個(gè)數(shù)據(jù)塊中每個(gè)數(shù)據(jù)塊的數(shù)據(jù)相互關(guān)聯(lián)。

本發(fā)明第二方面提供了一種分布式數(shù)據(jù)存儲(chǔ)的裝置，包括：

獲取模塊，用于獲取存儲(chǔ)集群數(shù)據(jù)，其中，所述存儲(chǔ)集群數(shù)據(jù)包括N個(gè)存儲(chǔ)節(jié)點(diǎn)的位置、所述N個(gè)存儲(chǔ)節(jié)點(diǎn)的進(jìn)程和所述N個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載量，N為正整數(shù)；

處理模塊，用于對待存儲(chǔ)數(shù)據(jù)進(jìn)行處理以得到M個(gè)數(shù)據(jù)塊，其中，M為不大于N的正整數(shù)；

查找模塊，用于在所述存儲(chǔ)集群數(shù)據(jù)中查找與所述M個(gè)數(shù)據(jù)塊匹配的M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置，其中，所述M個(gè)數(shù)據(jù)塊與所述M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置一一對應(yīng)，所述M個(gè)存儲(chǔ)節(jié)點(diǎn)屬于所述N個(gè)存儲(chǔ)節(jié)點(diǎn)；

存儲(chǔ)模塊，用于根據(jù)所述M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置將所述M個(gè)數(shù)據(jù)塊存儲(chǔ)在所述M個(gè)存儲(chǔ)節(jié)點(diǎn)中，其中，所述M個(gè)數(shù)據(jù)塊與所述M個(gè)存儲(chǔ)節(jié)點(diǎn)一一對應(yīng)。