[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置和系統(tǒng)

無效

• 申請(qǐng)?zhí)枺?/td>: 201010606318.6
• 申請(qǐng)日: 2010-12-24
• 公開（公告）號(hào): CN102004797A
• 公開（公告）日: 2011-04-06
• 發(fā)明（設(shè)計(jì)）人: 宋波
• 申請(qǐng)（專利權(quán)）人: 深圳市同洲電子股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 逯長(zhǎng)明;王寶筠

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取文件名和數(shù)據(jù)片的編號(hào)，其中，數(shù)據(jù)片由文件數(shù)據(jù)劃分而成；

根據(jù)所述文件名和編號(hào)通過分布式哈希表DHT算法計(jì)算出數(shù)據(jù)片的關(guān)鍵字Key值；

根據(jù)計(jì)算出的Key值確定數(shù)據(jù)節(jié)點(diǎn)；

將數(shù)據(jù)片寫入所述數(shù)據(jù)節(jié)點(diǎn)，或從所述數(shù)據(jù)節(jié)點(diǎn)中讀取出數(shù)據(jù)片。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取文件名和數(shù)據(jù)片的編號(hào)包括：

創(chuàng)建文件，所述文件具有文件名；

將需要寫入所述文件中的文件數(shù)據(jù)劃分成數(shù)據(jù)片；

對(duì)所述數(shù)據(jù)片進(jìn)行編號(hào)，得到數(shù)據(jù)片的編號(hào)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，還包括：

發(fā)送創(chuàng)建文件信息給命名節(jié)點(diǎn)，以生成文件元數(shù)據(jù)，所述文件元數(shù)據(jù)包括文件標(biāo)識(shí)、文件名和文件大小；

接收命名節(jié)點(diǎn)返回的文件標(biāo)識(shí)；

則所述將數(shù)據(jù)片寫入所述數(shù)據(jù)節(jié)點(diǎn)包括：根據(jù)所述文件標(biāo)識(shí)和數(shù)據(jù)片的編號(hào)寫入數(shù)據(jù)片。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取文件名和數(shù)據(jù)片的編號(hào)包括：

發(fā)送打開文件信息給命名節(jié)點(diǎn)，所述打開文件信息包括文件名；

接收命名節(jié)點(diǎn)根據(jù)所述打開文件信息返回的文件標(biāo)識(shí)；

根據(jù)所述文件標(biāo)識(shí)獲取數(shù)據(jù)片的編號(hào)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述從數(shù)據(jù)節(jié)點(diǎn)中讀取出數(shù)據(jù)片包括：

根據(jù)所述文件標(biāo)識(shí)和數(shù)據(jù)片的編號(hào)從數(shù)據(jù)節(jié)點(diǎn)中讀取出數(shù)據(jù)片。

6.一種數(shù)據(jù)處理方法，其特征在于，包括：

接收客戶端接口寫入的數(shù)據(jù)片，所述數(shù)據(jù)片由文件數(shù)據(jù)劃分而成；

獲取所述數(shù)據(jù)片的冗余份數(shù)；

根據(jù)所述冗余份數(shù)和預(yù)置的路由表，通過分布式哈希表DHT算法將所述數(shù)據(jù)片復(fù)制到其他數(shù)據(jù)節(jié)點(diǎn)上。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述冗余份數(shù)，通過DHT算法將所述數(shù)據(jù)片復(fù)制到其他數(shù)據(jù)節(jié)點(diǎn)上包括：

根據(jù)預(yù)置的路由表，通過DHT算法確定本數(shù)據(jù)節(jié)點(diǎn)后X個(gè)其他數(shù)據(jù)節(jié)點(diǎn)為冗余數(shù)據(jù)節(jié)點(diǎn)；所述X等于冗余份數(shù)與1的差值；

將所述數(shù)據(jù)片分別復(fù)制到確定的冗余數(shù)據(jù)節(jié)點(diǎn)中。

8.根據(jù)權(quán)利要求6或7所述的方法，其特征在于，還包括：

當(dāng)分片文件系統(tǒng)中新增或刪減數(shù)據(jù)節(jié)點(diǎn)時(shí)，在路由表中增加該新增數(shù)據(jù)節(jié)點(diǎn)的路由信息或刪除該刪減數(shù)據(jù)節(jié)點(diǎn)的路由信息，得到新路由表。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，還包括：

根據(jù)新路由表確定所述新增數(shù)據(jù)節(jié)點(diǎn)的后一個(gè)數(shù)據(jù)節(jié)點(diǎn)；

通過DHT算法將所述后一個(gè)數(shù)據(jù)節(jié)點(diǎn)中的部分非冗余數(shù)據(jù)轉(zhuǎn)移到新增數(shù)據(jù)節(jié)點(diǎn)中，所述非冗余數(shù)據(jù)為應(yīng)保存在本數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)片；

通過DHT算法將所述后一個(gè)數(shù)據(jù)節(jié)點(diǎn)中的全部冗余數(shù)據(jù)轉(zhuǎn)移到新增數(shù)據(jù)節(jié)點(diǎn)中，所述冗余數(shù)據(jù)為其他數(shù)據(jù)節(jié)點(diǎn)復(fù)制到本數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)片。

10.根據(jù)權(quán)利要求8所述的方法，其特征在于，還包括：

通過DHT算法刪除所述刪減數(shù)據(jù)節(jié)點(diǎn)復(fù)制到本數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)片。

11.根據(jù)權(quán)利要求8所述的方法，其特征在于，還包括：

通過冗余份數(shù)和新路由表，通過DHT算法重新將所述數(shù)據(jù)片復(fù)制到其他數(shù)據(jù)節(jié)點(diǎn)上。

12.一種客戶端接口，其特征在于，包括：

獲取單元，用于獲取文件名和數(shù)據(jù)片的編號(hào)，其中，數(shù)據(jù)片由文件數(shù)據(jù)劃分而成；

運(yùn)算單元，用于根據(jù)獲取單元獲取到的文件名和數(shù)據(jù)片的編號(hào)通過分布式哈希表DHT算法計(jì)算出數(shù)據(jù)片的關(guān)鍵字Key值；

確定單元，用于根據(jù)運(yùn)算單元計(jì)算出的Key值確定數(shù)據(jù)節(jié)點(diǎn)；

處理單元，用于將數(shù)據(jù)片寫入所述數(shù)據(jù)節(jié)點(diǎn)，或從所述數(shù)據(jù)節(jié)點(diǎn)中讀取出數(shù)據(jù)片。

13.根據(jù)權(quán)利要求12所述的客戶端接口，其特征在于，所述獲取單元包括：

創(chuàng)建子單元，用于創(chuàng)建文件，所述文件具有文件名；

劃分子單元，用于將需要寫入創(chuàng)建子單元所創(chuàng)建的文件中的文件數(shù)據(jù)劃分成數(shù)據(jù)片；

編號(hào)子單元，用于對(duì)劃分子單元?jiǎng)澐值玫降臄?shù)據(jù)片進(jìn)行編號(hào)，得到數(shù)據(jù)片的編號(hào)。