[發(fā)明專利]一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201510974893.4
• 申請(qǐng)日: 2015-12-22
• 公開(kāi)（公告）號(hào): CN106909472B
• 公開(kāi)（公告）日: 2020-09-11
• 發(fā)明（設(shè)計(jì)）人: 翟寧寧;馬麗;趙廣榮;李霞;任琰杰;付長(zhǎng)冬
• 申請(qǐng)（專利權(quán)）人: 中國(guó)移動(dòng)通信集團(tuán)河北有限公司
• 主分類號(hào): G06F11/14
• 分類號(hào): G06F11/14;G06F16/182
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 姚開(kāi)麗;王花麗

本發(fā)明實(shí)施例公開(kāi)了一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整方法，所述方法包括：計(jì)算各個(gè)數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)冷熱度，獲取節(jié)點(diǎn)冷熱度最大的最熱數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào)和節(jié)點(diǎn)冷熱度最小的最冷數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào)；計(jì)算所述最熱數(shù)據(jù)節(jié)點(diǎn)中數(shù)據(jù)塊的塊冷熱度，獲取塊冷熱度最大的最熱數(shù)據(jù)塊的位置信息；獲取所述最熱數(shù)據(jù)塊的備份數(shù)據(jù)塊的位置信息，根據(jù)所述備份數(shù)據(jù)塊的位置信息以及所述最冷數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào)，將所述備份數(shù)據(jù)塊遷移到所述最冷數(shù)據(jù)節(jié)點(diǎn)內(nèi)；向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送主備標(biāo)識(shí)修改請(qǐng)求。本發(fā)明實(shí)施例還公開(kāi)了一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整裝置。

技術(shù)領(lǐng)域

本發(fā)明涉及Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System，HDFS)領(lǐng)域，尤其涉及一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整方法及裝置。

背景技術(shù)

自大數(shù)據(jù)技術(shù)和Hadoop平臺(tái)出現(xiàn)以來(lái)，已經(jīng)成為各種業(yè)務(wù)平臺(tái)(如教育云、醫(yī)療云、數(shù)據(jù)云等等)構(gòu)建的核心技術(shù)。其中，HDFS是Hadoop大數(shù)據(jù)平臺(tái)的核心系統(tǒng)，具有高容錯(cuò)性、高可擴(kuò)展性等眾多優(yōu)點(diǎn)。

現(xiàn)有技術(shù)中，HDFS的架構(gòu)包括一個(gè)元數(shù)據(jù)節(jié)點(diǎn)(Namenode)、多個(gè)數(shù)據(jù)節(jié)點(diǎn)(Datanode)以及客戶端(Client)，其中，元數(shù)據(jù)節(jié)點(diǎn)用于存儲(chǔ)和管理元數(shù)據(jù)，該元數(shù)據(jù)包括文件系統(tǒng)目錄樹(shù)信息、文件和數(shù)據(jù)塊(Block)的對(duì)應(yīng)關(guān)系信息以及數(shù)據(jù)塊的位置信息；客戶端用于提供與元數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)進(jìn)行交互的應(yīng)用程序編程接口(ApplicationProgramming Interface，API)，周期性的向元數(shù)據(jù)節(jié)點(diǎn)回報(bào)存儲(chǔ)的數(shù)據(jù)塊信息；數(shù)據(jù)節(jié)點(diǎn)用于存儲(chǔ)數(shù)據(jù)，元數(shù)據(jù)節(jié)點(diǎn)或客戶端可以向數(shù)據(jù)節(jié)點(diǎn)請(qǐng)求寫(xiě)入或讀出數(shù)據(jù)塊。

當(dāng)HDFS中有大量數(shù)據(jù)分布時(shí)，尤其是在有新的數(shù)據(jù)節(jié)點(diǎn)加入或有數(shù)據(jù)節(jié)點(diǎn)退出時(shí)，會(huì)出現(xiàn)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)分布不均衡的問(wèn)題。為解決該問(wèn)題，在HDFS內(nèi)部集成數(shù)據(jù)分布調(diào)整模塊，該數(shù)據(jù)分布調(diào)整模塊可以有效地將數(shù)據(jù)分布到新的數(shù)據(jù)節(jié)點(diǎn)或其他數(shù)據(jù)節(jié)點(diǎn)上，實(shí)現(xiàn)數(shù)據(jù)的均衡化分布。在分布過(guò)程中其考慮每個(gè)數(shù)據(jù)節(jié)點(diǎn)中數(shù)據(jù)塊的大小和數(shù)量，盡可能的讓每個(gè)數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)塊和大小平均分布。

然而，對(duì)于一些對(duì)輸入/輸出(Input/Output，I/O)負(fù)載存在不同需求的業(yè)務(wù)，就存在較多的問(wèn)題，尤其是在整體I/O系統(tǒng)性能上。如下為教育云的主要負(fù)載表現(xiàn)：

(1)一段時(shí)間內(nèi)某個(gè)數(shù)據(jù)塊是熱點(diǎn)數(shù)據(jù)塊，而其他數(shù)據(jù)塊的使用較少；熱點(diǎn)數(shù)據(jù)塊的讀寫(xiě)頻度非常高，而其他數(shù)據(jù)塊的讀寫(xiě)頻度就很低；

(2)一般情況下，對(duì)數(shù)據(jù)塊的讀操作很多，而寫(xiě)操作較少，但在寫(xiě)操作的時(shí)候，數(shù)據(jù)量較大，而HDFS對(duì)大塊數(shù)據(jù)的寫(xiě)操作為順序?qū)?，使得部分?jǐn)?shù)據(jù)節(jié)點(diǎn)的寫(xiě)入數(shù)據(jù)塊的頻度非常高，而其他數(shù)據(jù)節(jié)點(diǎn)的寫(xiě)入數(shù)據(jù)塊的頻度就很低。

上述負(fù)載表現(xiàn)就導(dǎo)致各個(gè)數(shù)據(jù)塊的I/O負(fù)載不均衡，有的數(shù)據(jù)塊讀寫(xiě)頻度非常高，I/O負(fù)載大；有的數(shù)據(jù)塊讀寫(xiě)頻度很低，I/O負(fù)載??；這樣有高頻率讀寫(xiě)數(shù)據(jù)塊的數(shù)據(jù)節(jié)點(diǎn)就會(huì)出現(xiàn)I/O負(fù)載過(guò)多、I/O性能整體快速下降、客戶響應(yīng)時(shí)間下降等問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例期望提供一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整方法及裝置，可以達(dá)到數(shù)據(jù)節(jié)點(diǎn)輸入/輸出負(fù)載均衡的目的。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

本發(fā)明提供了一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整方法，所述方法包括：

計(jì)算各個(gè)數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)冷熱度，獲取節(jié)點(diǎn)冷熱度最大的最熱數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào)和節(jié)點(diǎn)冷熱度最小的最冷數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào)；

計(jì)算所述最熱數(shù)據(jù)節(jié)點(diǎn)中數(shù)據(jù)塊的塊冷熱度，獲取塊冷熱度最大的最熱數(shù)據(jù)塊的位置信息；

獲取所述最熱數(shù)據(jù)塊的備份數(shù)據(jù)塊的位置信息，根據(jù)所述備份數(shù)據(jù)塊的位置信息以及所述最冷數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào)，將所述備份數(shù)據(jù)塊遷移到所述最冷數(shù)據(jù)節(jié)點(diǎn)內(nèi)；