[發(fā)明專利]數(shù)據(jù)存儲(chǔ)方法及系統(tǒng)

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201110327237.7
• 申請(qǐng)日: 2011-10-25
• 公開(kāi)（公告）號(hào): CN102364472A
• 公開(kāi)（公告）日: 2012-02-29
• 發(fā)明（設(shè)計(jì)）人: 雷靖;劉澍;肖蓉
• 申請(qǐng)（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 田衛(wèi)平

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，特別是涉及一種數(shù)據(jù)存儲(chǔ)方法及系統(tǒng)。

背景技術(shù)

在現(xiàn)有技術(shù)中，隨著多媒體產(chǎn)業(yè)的迅猛發(fā)展，出于成本、可靠性等多方面 的考慮，越來(lái)越多的廠商選擇在產(chǎn)品中部署自研的分布式存儲(chǔ)系統(tǒng)，使得分布 式文件系統(tǒng)也因此得到了快速的發(fā)展。

在現(xiàn)有的分布式文件系統(tǒng)架構(gòu)中，文件一般都被分割成多個(gè)數(shù)據(jù)塊進(jìn)行存 儲(chǔ)；為了保證系統(tǒng)的健壯性及災(zāi)難恢復(fù)能力，數(shù)據(jù)塊一般又會(huì)有多個(gè)備份，并 分別存放于不同的物理位置，因此需要配置更多的存儲(chǔ)設(shè)備，從而增加了設(shè)備 的成本；在數(shù)據(jù)寫入存儲(chǔ)設(shè)備、從存儲(chǔ)設(shè)備上讀取數(shù)據(jù)、或者在數(shù)據(jù)傳輸?shù)倪^(guò) 程中，都可能發(fā)生部分?jǐn)?shù)據(jù)出錯(cuò)；此外，保存在存儲(chǔ)介質(zhì)上的數(shù)據(jù)也可能發(fā)生 損壞，從而導(dǎo)致數(shù)據(jù)不可用，從而減低了數(shù)據(jù)存儲(chǔ)的可靠性，特別是在數(shù)據(jù)存 儲(chǔ)可靠性要求較高的系統(tǒng)中，數(shù)據(jù)存儲(chǔ)可靠性低的問(wèn)題顯得尤為突出。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)存儲(chǔ)方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中數(shù)據(jù)存儲(chǔ)可靠性 低的問(wèn)題。

本發(fā)明提供一種數(shù)據(jù)存儲(chǔ)方法，包括：

文件訪問(wèn)客戶端根據(jù)元數(shù)據(jù)服務(wù)器選定的數(shù)據(jù)塊服務(wù)器位置，向相應(yīng)的數(shù) 據(jù)塊服務(wù)器發(fā)送原始數(shù)據(jù)、原始數(shù)據(jù)的數(shù)據(jù)塊句柄、以及原始數(shù)據(jù)的字節(jié)范圍；

數(shù)據(jù)塊服務(wù)器根據(jù)字節(jié)范圍對(duì)原始數(shù)據(jù)進(jìn)行里所RS編碼，并將原始數(shù)據(jù)、 以及數(shù)據(jù)塊句柄寫入到存儲(chǔ)媒介，保存為信息數(shù)據(jù)文件；

對(duì)進(jìn)行RS編碼后獲取的冗余數(shù)據(jù)進(jìn)行封裝，獲取冗余數(shù)據(jù)文件句柄，并 將封裝后的冗余數(shù)據(jù)、以及冗余數(shù)據(jù)文件句柄寫入存儲(chǔ)媒介，保存為冗余數(shù)據(jù) 文件。

優(yōu)選地，上述方法還包括：在用戶讀取原始數(shù)據(jù)時(shí)，文件訪問(wèn)客戶端根據(jù) 元數(shù)據(jù)服務(wù)器指定的數(shù)據(jù)塊服務(wù)器位置，向數(shù)據(jù)塊服務(wù)器發(fā)送數(shù)據(jù)讀取請(qǐng)求， 其中，請(qǐng)求中攜帶有數(shù)據(jù)塊句柄、以及字節(jié)范圍；數(shù)據(jù)塊服務(wù)器根據(jù)數(shù)據(jù)塊句 柄、以及字節(jié)范圍，從存儲(chǔ)媒介中讀取信息數(shù)據(jù)文件，獲取原始數(shù)據(jù)；讀取與 信息數(shù)據(jù)文件相對(duì)應(yīng)的冗余數(shù)據(jù)文件，對(duì)冗余數(shù)據(jù)文件進(jìn)行解封裝，獲取冗余 數(shù)據(jù)；對(duì)冗余數(shù)據(jù)以及原始數(shù)據(jù)進(jìn)行RS解碼，并將RS解碼后的糾錯(cuò)數(shù)據(jù)發(fā) 送給文件訪問(wèn)客戶端。

優(yōu)選地，數(shù)據(jù)塊服務(wù)器根據(jù)字節(jié)范圍對(duì)原始數(shù)據(jù)進(jìn)行里所RS編碼具體包 括：從原始數(shù)據(jù)的第一個(gè)字節(jié)開(kāi)始，將原始數(shù)據(jù)以k字節(jié)單位分割成多個(gè)數(shù)據(jù) 段，如果最后一個(gè)數(shù)據(jù)段的長(zhǎng)度小于k字節(jié)，則使用0進(jìn)行填充，使最后一個(gè) 數(shù)據(jù)段的長(zhǎng)度等于k字節(jié)；分別對(duì)每一個(gè)k字節(jié)的數(shù)據(jù)段進(jìn)行RS編碼，獲取 多個(gè)m字節(jié)的冗余數(shù)據(jù)，并將多個(gè)m字節(jié)的冗余數(shù)據(jù)保存在數(shù)據(jù)塊服務(wù)器的 緩存中。

優(yōu)選地，對(duì)進(jìn)行RS編碼后獲取的冗余數(shù)據(jù)進(jìn)行封裝，獲取冗余數(shù)據(jù)文件 句柄具體包括：從數(shù)據(jù)塊服務(wù)器的緩存中讀取多個(gè)m字節(jié)的冗余數(shù)據(jù)，將開(kāi)始 標(biāo)識(shí)符插入到每一個(gè)m字節(jié)的冗余數(shù)據(jù)的第一個(gè)字節(jié)之前，將結(jié)束標(biāo)識(shí)符插入 到每一個(gè)m字節(jié)的冗余數(shù)據(jù)的最后一個(gè)字節(jié)之后，獲取封裝后的冗余數(shù)據(jù)；根 據(jù)數(shù)據(jù)塊名稱構(gòu)造冗余數(shù)據(jù)文件名稱，并根據(jù)冗余數(shù)據(jù)文件名稱獲取冗余數(shù)據(jù) 文件句柄。

優(yōu)選地，對(duì)冗余數(shù)據(jù)文件進(jìn)行解封裝具體包括：分別根據(jù)開(kāi)始標(biāo)識(shí)符和結(jié) 束標(biāo)識(shí)符讀取封裝后的冗余數(shù)據(jù)，獲取多個(gè)m字節(jié)的冗余數(shù)據(jù)。

優(yōu)選地，對(duì)冗余數(shù)據(jù)以及原始數(shù)據(jù)進(jìn)行RS解碼具體包括：從原始數(shù)據(jù)的 第一個(gè)字節(jié)開(kāi)始，每次讀取k字節(jié)數(shù)據(jù)，從冗余數(shù)據(jù)的第一個(gè)字節(jié)開(kāi)始，每次 讀取m字節(jié)數(shù)據(jù)，對(duì)n字節(jié)的原始數(shù)據(jù)和冗余數(shù)據(jù)進(jìn)行RS糾錯(cuò)解碼，每次生 成k字節(jié)的糾錯(cuò)數(shù)據(jù)，直到處理完原始數(shù)據(jù)，其中，n＝k+m；如果n個(gè)字節(jié)中 發(fā)生錯(cuò)誤的字節(jié)超過(guò)m/2個(gè)，則在數(shù)據(jù)塊服務(wù)器中記錄RS糾錯(cuò)解碼錯(cuò)誤日志； 如果最后一段需要解碼的原始數(shù)據(jù)的長(zhǎng)度小于k字節(jié)，則只對(duì)最后一段原始數(shù) 據(jù)中對(duì)應(yīng)的字節(jié)進(jìn)行RS糾錯(cuò)解碼運(yùn)算。

本發(fā)明還提供了一種數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括：

元數(shù)據(jù)服務(wù)器，用于管理系統(tǒng)內(nèi)所有文件的元數(shù)據(jù)信息，向文件訪問(wèn)客戶 端提供選定的數(shù)據(jù)塊服務(wù)器位置，并向文件訪問(wèn)客戶端提供元數(shù)據(jù)信息操作接 口；

文件訪問(wèn)客戶端，用于根據(jù)元數(shù)據(jù)服務(wù)器選定的數(shù)據(jù)塊服務(wù)器位置，向相 應(yīng)的數(shù)據(jù)塊服務(wù)器發(fā)送原始數(shù)據(jù)、原始數(shù)據(jù)的數(shù)據(jù)塊句柄、以及原始數(shù)據(jù)的字 節(jié)范圍；