[發(fā)明專利]一種分布式數(shù)據(jù)存儲(chǔ)方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710103994.3
• 申請(qǐng)日: 2017-02-24
• 公開（公告）號(hào): CN106649891A
• 公開（公告）日: 2017-05-10
• 發(fā)明（設(shè)計(jì)）人: 張勤;李進(jìn)
• 申請(qǐng)（專利權(quán)）人: 深圳市中博睿存信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司44205
• 代理人: 唐致明

技術(shù)領(lǐng)域

本發(fā)明涉及一種分布式數(shù)據(jù)存儲(chǔ)方法和系統(tǒng)，屬于計(jì)算機(jī)存儲(chǔ)領(lǐng)域。

背景技術(shù)

分布式文件系統(tǒng)存儲(chǔ)已經(jīng)逐漸在新的時(shí)代展現(xiàn)出了其特有的優(yōu)勢(shì)，比如支持超大數(shù)據(jù)的存儲(chǔ)，存儲(chǔ)量可以達(dá)到PB級(jí)別，檢測(cè)和快速反應(yīng)系統(tǒng)或硬件故障，支持磁盤容量擴(kuò)展性，而不影響到整體架構(gòu)，保證數(shù)據(jù)的一致性等。因此在很多場(chǎng)景下都會(huì)考慮采用分布式文件系統(tǒng)存儲(chǔ)。雖然分布式文件存儲(chǔ)系統(tǒng)有這么多的優(yōu)點(diǎn)，與傳統(tǒng)存儲(chǔ)方案相比在某些方面還是需要不斷的改進(jìn)，比如在存儲(chǔ)容量上，主流的方式為多個(gè)副本存儲(chǔ)，但是存儲(chǔ)量就會(huì)較大，同時(shí)造成讀寫消耗較大，采用一些壓縮以及安全的算法保存數(shù)據(jù)的時(shí)候，會(huì)將處理后的數(shù)據(jù)和解密的密鑰存儲(chǔ)在同一類存儲(chǔ)器，這樣并不能完全消除，驗(yàn)證用的數(shù)據(jù)的安全威脅。

發(fā)明內(nèi)容

為了解決上述問(wèn)題，本發(fā)明通過(guò)提供一種分布式數(shù)據(jù)存儲(chǔ)方法和系統(tǒng)。

本發(fā)明采用的技術(shù)方案一方面為一種分布式數(shù)據(jù)存儲(chǔ)方法，包括：包括若干存儲(chǔ)區(qū)的副本存儲(chǔ)端接收待存儲(chǔ)數(shù)據(jù)并寫入至少一個(gè)存儲(chǔ)區(qū)；副本存儲(chǔ)端將待存儲(chǔ)數(shù)據(jù)寫入緩存模塊中，所述緩存模塊對(duì)所述待存儲(chǔ)數(shù)據(jù)進(jìn)行緩存；當(dāng)達(dá)到預(yù)設(shè)條件時(shí)，緩存模塊輸出預(yù)定大小的緩存數(shù)據(jù)，對(duì)所述緩存數(shù)據(jù)基于糾刪碼編碼方式進(jìn)行編碼并生成校驗(yàn)數(shù)據(jù)；所述緩存模塊將所述緩存數(shù)據(jù)寫入存儲(chǔ)服務(wù)器組的多個(gè)存儲(chǔ)服務(wù)器中，將所述校驗(yàn)數(shù)據(jù)寫入所述存儲(chǔ)服務(wù)器組的至少一個(gè)存儲(chǔ)服務(wù)器中。

優(yōu)選地，所述預(yù)定條件包括：所述緩存模塊中所緩存的數(shù)據(jù)的大小達(dá)到所述預(yù)定大小；或者所述副本存儲(chǔ)端寫入數(shù)據(jù)的操作超過(guò)預(yù)定時(shí)長(zhǎng)；或者所述緩存模塊出現(xiàn)故障。

優(yōu)選地，所述緩存模塊包括固態(tài)硬盤單元和數(shù)據(jù)接口單元。

優(yōu)選地，所述存儲(chǔ)服務(wù)器組為基于對(duì)象存儲(chǔ)技術(shù)的存儲(chǔ)設(shè)備。

本發(fā)明采用的技術(shù)方案的另一方面為一種分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括：包括若干存儲(chǔ)區(qū)的副本存儲(chǔ)端，用于接收待存儲(chǔ)數(shù)據(jù)并寫入至少一個(gè)存儲(chǔ)區(qū)；緩存模塊，用于接收副本存儲(chǔ)端輸出的待存儲(chǔ)數(shù)據(jù)并進(jìn)行緩存，當(dāng)達(dá)到預(yù)設(shè)條件時(shí)，輸出預(yù)定大小的緩存數(shù)據(jù)，對(duì)所述緩存數(shù)據(jù)基于糾刪碼編碼方式進(jìn)行編碼并生成校驗(yàn)數(shù)據(jù)，將所述緩存數(shù)據(jù)寫入存儲(chǔ)服務(wù)器組的多個(gè)存儲(chǔ)服務(wù)器中，將所述校驗(yàn)數(shù)據(jù)寫入所述存儲(chǔ)服務(wù)器組的至少一個(gè)存儲(chǔ)服務(wù)器中；存儲(chǔ)服務(wù)器組，用于存儲(chǔ)數(shù)據(jù)。

本發(fā)明的有益效果為提供備份區(qū)以存儲(chǔ)原始數(shù)據(jù)，通過(guò)固態(tài)硬盤以作為數(shù)據(jù)緩存以提高數(shù)據(jù)傳輸速度，通過(guò)糾刪技術(shù)以提高數(shù)據(jù)利用率，通過(guò)對(duì)象存儲(chǔ)技術(shù)以提高存儲(chǔ)效率，能夠?qū)崿F(xiàn)數(shù)據(jù)的安全和高效的存儲(chǔ)和運(yùn)用，有利于數(shù)據(jù)管理能力。

附圖說(shuō)明

圖1所示為基于本發(fā)明實(shí)施例的一種分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)的示意圖。

具體實(shí)施方式

以下結(jié)合實(shí)施例對(duì)本發(fā)明進(jìn)行說(shuō)明。

基于發(fā)明的實(shí)施例，一種分布式數(shù)據(jù)存儲(chǔ)方法，包括：包括若干存儲(chǔ)區(qū)的副本存儲(chǔ)端接收待存儲(chǔ)數(shù)據(jù)并寫入至少一個(gè)存儲(chǔ)區(qū)；副本存儲(chǔ)端將待存儲(chǔ)數(shù)據(jù)寫入緩存模塊中，所述緩存模塊對(duì)所述待存儲(chǔ)數(shù)據(jù)進(jìn)行緩存；當(dāng)達(dá)到預(yù)設(shè)條件時(shí)，緩存模塊輸出預(yù)定大小的緩存數(shù)據(jù)，對(duì)所述緩存數(shù)據(jù)基于糾刪碼編碼方式進(jìn)行編碼并生成校驗(yàn)數(shù)據(jù)；所述緩存模塊將所述緩存數(shù)據(jù)寫入存儲(chǔ)服務(wù)器組的多個(gè)存儲(chǔ)服務(wù)器中，將所述校驗(yàn)數(shù)據(jù)寫入所述存儲(chǔ)服務(wù)器組的至少一個(gè)存儲(chǔ)服務(wù)器中。

建立副本池，將數(shù)據(jù)存儲(chǔ)到副本池，這樣就保證了一份數(shù)據(jù)有多個(gè)備份，一旦系統(tǒng)出現(xiàn)單點(diǎn)故障的時(shí)候，副本池就自動(dòng)接管，恢復(fù)到故障前的狀態(tài)；副本存儲(chǔ)端接收數(shù)據(jù)并存入，設(shè)置備份，完成備份之后，將數(shù)據(jù)輸出到緩存模塊以增加數(shù)據(jù)傳遞和處理的速度，緩存模塊在抵達(dá)一定條件的時(shí)候，通過(guò)數(shù)據(jù)處理的串口單元將緩存輸出提取出來(lái)并進(jìn)行糾刪碼處理，將經(jīng)過(guò)處理得到的檢驗(yàn)數(shù)據(jù)和緩存數(shù)據(jù)映射到OSD設(shè)備（存儲(chǔ)服務(wù)器組）,例如按照4數(shù)據(jù)塊和1個(gè)編碼塊，則糾刪碼處理后的糾刪池分為5個(gè)塊，每個(gè)塊存儲(chǔ)到一個(gè)OSD中，將塊的編號(hào)作為唯一性，保存到對(duì)象中；假設(shè)有5個(gè)OSD，每一個(gè)OSD對(duì)應(yīng)一個(gè)糾刪池塊，突然有1個(gè)OSD發(fā)生故障，這種情況下數(shù)據(jù)整體上并沒(méi)有受到破壞，在糾刪的過(guò)程中通過(guò)一定的計(jì)算方法已經(jīng)將1個(gè)OSD故障出現(xiàn)的情況納入在內(nèi)，糾刪池的目的就是為了節(jié)省存儲(chǔ)空間，充分考慮到了編碼塊出錯(cuò)的比例，滿足了用極少的空間存儲(chǔ)大容量的數(shù)據(jù)，提升了磁盤的存儲(chǔ)能力。

所述預(yù)定條件包括：所述緩存模塊中所緩存的數(shù)據(jù)的大小達(dá)到所述預(yù)定大小；或者所述副本存儲(chǔ)端寫入數(shù)據(jù)的操作超過(guò)預(yù)定時(shí)長(zhǎng)；或者所述緩存模塊出現(xiàn)故障。

所述緩存模塊包括固態(tài)硬盤單元和數(shù)據(jù)接口單元。