[發(fā)明專利]一種Hadoop分布式文件系統(tǒng)及其管理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310544570.2
• 申請(qǐng)日: 2013-11-05
• 公開(kāi)（公告）號(hào): CN104615606A
• 公開(kāi)（公告）日: 2015-05-13
• 發(fā)明（設(shè)計(jì)）人: 劉磊
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11262
• 代理人: 龍洪;栗若木

1.一種Hadoop分布式文件系統(tǒng)跨機(jī)房的管理方法，包括：

Hadoop分布式文件系統(tǒng)創(chuàng)建樹(shù)形網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，在代表集群的根節(jié)點(diǎn)和代表機(jī)架的第二層節(jié)點(diǎn)之間設(shè)置代表機(jī)房的第一層節(jié)點(diǎn)；

創(chuàng)建一跨機(jī)房文件時(shí)，指定多個(gè)機(jī)房來(lái)存放該文件的塊副本，并為其中的每一機(jī)房配置存放的副本數(shù)；

在所述多個(gè)機(jī)房存放所述塊副本時(shí)，對(duì)其中的每一機(jī)房，按照為該機(jī)房配置的所述副本數(shù)，選擇相同數(shù)目的數(shù)據(jù)節(jié)點(diǎn)存放所述塊副本。

2.如權(quán)利要求1所述的方法，其特征在于，還包括：

對(duì)所述跨機(jī)房文件的塊副本進(jìn)行維護(hù)時(shí)，先確定存放有所述塊副本的所有機(jī)房和其中每一機(jī)房的實(shí)際存放數(shù)；對(duì)每一機(jī)房，如實(shí)際存放數(shù)不等于為該機(jī)房配置的所述副本數(shù)，則在該機(jī)房?jī)?nèi)對(duì)所述塊副本進(jìn)行復(fù)制或刪除以使實(shí)際存放數(shù)等于配置的所述副本數(shù)。

3.如權(quán)利要求2所述的方法，其特征在于：

指定多個(gè)機(jī)房來(lái)存放該文件的塊副本時(shí)，優(yōu)先指定用戶所在的機(jī)房；

對(duì)所述塊副本進(jìn)行復(fù)制時(shí)，優(yōu)先將同一個(gè)機(jī)房?jī)?nèi)存放有所述塊副本的數(shù)據(jù)節(jié)點(diǎn)作為源。

4.如權(quán)利要求1或2或3所述的方法，其特征在于，還包括：

接收到用戶讀取塊副本的指令，選擇讀取的所述塊副本時(shí)，優(yōu)先選擇用戶所在數(shù)據(jù)節(jié)點(diǎn)存放的所述塊副本，其次選擇用戶所在機(jī)架存放的所述塊副本，再次選擇用戶所在機(jī)房存放的所述塊副本，最后選擇其他機(jī)房存放的所述塊副本。

5.如權(quán)利要求1或2或3所述的方法，其特征在于，還包括：

使用平衡工具平衡Hadoop分布式文件系統(tǒng)集群數(shù)據(jù)節(jié)點(diǎn)的磁盤利用率時(shí)，只在一個(gè)機(jī)房?jī)?nèi)的各數(shù)據(jù)節(jié)點(diǎn)之間進(jìn)行平衡。

6.如權(quán)利要求1或2或3所述的方法，其特征在于：

所述指定多個(gè)機(jī)房來(lái)存放該文件的塊副本，包括：

配置該文件的文件路徑與多個(gè)機(jī)房的對(duì)應(yīng)關(guān)系，使用所述文件路徑對(duì)應(yīng)的多個(gè)機(jī)房存放該文件的塊副本。

7.一種跨機(jī)房的Hadoop分布式文件系統(tǒng)，包括：

拓?fù)涔芾砟K，用于創(chuàng)建Hadoop分布式文件系統(tǒng)HDFS的樹(shù)形網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，在代表集群的根節(jié)點(diǎn)和代表機(jī)架的第二層節(jié)點(diǎn)之間增加代表機(jī)房的第一層節(jié)點(diǎn)；

副本配置模塊，用于在創(chuàng)建跨機(jī)房文件時(shí)，指定多個(gè)機(jī)房來(lái)存放該文件的塊副本，并為其中的每一機(jī)房配置存放的副本數(shù)；

副本存放模塊，用于在多個(gè)機(jī)房存放跨機(jī)房文件的副本塊時(shí)，對(duì)其中的每一機(jī)房，按照為該機(jī)房配置的副本數(shù)，選擇相同數(shù)目的數(shù)據(jù)節(jié)點(diǎn)存放所述塊副本。

8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，還包括：

副本維護(hù)模塊，用于對(duì)所述跨機(jī)房文件的塊副本進(jìn)行維護(hù)時(shí)，先確定存放有所述塊副本的所有機(jī)房和其中每一機(jī)房的實(shí)際存放數(shù)；對(duì)每一機(jī)房，如實(shí)際存放數(shù)不等于為該機(jī)房配置的所述副本數(shù)，則在該機(jī)房?jī)?nèi)對(duì)所述塊副本進(jìn)行復(fù)制或刪除以使實(shí)際存放數(shù)等于配置的所述副本數(shù)。

9.如權(quán)利要求8所述的系統(tǒng)，其特征在于：

所述副本配置模塊指定多個(gè)機(jī)房來(lái)存放該文件的塊副本時(shí)，優(yōu)先指定用戶所在的機(jī)房；

所述副本維護(hù)模塊對(duì)所述塊副本進(jìn)行復(fù)制時(shí)，優(yōu)先將同一個(gè)機(jī)房?jī)?nèi)存放有所述塊副本的數(shù)據(jù)節(jié)點(diǎn)作為源。

10.如權(quán)利要求7或8或9所述的系統(tǒng)，其特征在于，還包括：

數(shù)據(jù)讀取模塊，用于在接收到用戶讀取塊副本的指令，對(duì)塊副本進(jìn)行讀取時(shí)，優(yōu)先選擇用戶所在數(shù)據(jù)節(jié)點(diǎn)的塊副本，其次選擇用戶所在機(jī)架的塊副本，再次選擇用戶所在機(jī)房的塊副本，最后選拔其他機(jī)房的塊副本。

11.如權(quán)利要求7或8或9所述的系統(tǒng)，其特征在于，還包括：

性能優(yōu)化模塊，用于在使用平衡工具平衡Hadoop分布式文件系統(tǒng)集群的數(shù)據(jù)節(jié)點(diǎn)的磁盤利用率時(shí)，只在一個(gè)機(jī)房?jī)?nèi)的各數(shù)據(jù)節(jié)點(diǎn)之間進(jìn)行平衡。

12.如權(quán)利要求7或8或9所述的系統(tǒng)，其特征在于：

所述副本配置模塊指定多個(gè)機(jī)房來(lái)存放該文件的塊副本，包括：配置該文件的文件路徑對(duì)應(yīng)的多個(gè)機(jī)房，使用所述文件路徑對(duì)應(yīng)的多個(gè)機(jī)房存放該文件的塊副本。