[發明專利]處理數據塊的方法、發起恢復操作的方法和節點

有效

• 申請號: 201210012919.3
• 申請日: 2012-01-16
• 公開（公告）號: CN103207867B
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 張云龍
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F11/14
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 安之斐

本發明公開了一種用于處理一數據塊的方法，所述方法應用于一數據節點，所述數據節點屬于一分布式文件系統，所述分布式文件系統包括管理節點和N個數據節點，所述管理節點用于管理由客戶端提供的數據塊在所述N個數據節點上的存儲，N是所述數據塊的副本數目，其特征在于，所述方法包括：接收所述數據塊；將所述數據塊存儲到存儲單元中；生成一確認信息，所述確認信息用于指示出是否成功地將所述數據塊存儲到所述存儲單元中，并且返回所述確認信息；以及向隨后的數據節點傳送所述數據塊。因此，本發明可以減少數據塊在彼此之間處于異地的N個數據節點中進行復制冗余時的傳送時間。

技術領域

本發明涉及計算機技術領域，更具體地，本發明涉及一種用于處理一數據塊的方法和數據節點、以及一種用于發起一數據塊的恢復操作的方法和管理節點。

背景技術

Hadoop分布式文件系統(HDFS)是被設計成適合運行在通用硬件上的分布式文件系統。HDFS采用主從架構。一個HDFS集群由一個名字節點(Namenode)和一定數目的數據節點(Datanode)組成。名字節點是一個中心服務器，負責管理文件系統的名字空間以及客戶端對文件的訪問。集群中的數據節點負責管理它所在節點上的存儲。

原生的HDFS集群為了保證數據的安全性，引入了復制冗余的概念，即按照預定的副本數目N(又稱為復制系數，其中N∈n)來將每個數據塊(block)寫入到幾個不同的數據節點之中。這種寫入數據的操作采用鏈式的同步冗余傳送方式。

具體來說，客戶端會從名字節點獲取一個用于存放數據塊副本的數據節點的列表。這里，以數據塊的副本數目N等于3為例進行說明。首先，客戶端開始向列表中第一數據節點(Datanodel)傳送數據塊；第一數據節點接收該數據塊，將該數據塊寫入到自己的本地磁盤中，并同時傳送該數據塊到列表中第二數據節點(Datanode2)；第二數據節點也是這樣，接收并將該數據塊寫入到它的本地磁盤中，并同時傳給第三數據節點(Datanode3)；第三數據節點接收數據塊并寫入到本地磁盤中，并且向第二數據節點傳送用于指示自己的寫入是否成功的第三確認信息；第二數據節點收到該第三確認信息后，將用于指示自己的寫入是否成功的第二確認信息、連同該第三確認信息一起傳送到第一數據節點；最后，第一數據節點將自己的第一確認信息以及所接收到的第二和第三確認信息一起傳送到該客戶端，使得客戶端能夠得知這個數據塊復制過程的最終結果。

假設以T<K-1，K>(0＜K＜＝N，K∈n)來表示一個數據塊從第K-1數據節點傳送到第K數據節點所花費的時間，則這個數據塊的整個寫入過程所花費的時間T理論上是：T＝Max(T<0，1>，T<1，2>，...，T<N-1，N>)。

在進行數據塊的本地數據冗余的情況下，這時所有的數據節點都位于一本地網絡中，由于本地網絡的傳送速度很快，所以每個T<K-1，K>都很小并且相差無幾，因此，整個傳送時間T很短。

然而，在做因特網數據中心(IDC)級別的數據實時冗余方案的情況下，這時有些數據節點位于遠離本地網絡的一個或多個異地網絡中，這種同步冗余傳送方式將具有嚴重的局限。例如，假設第K數據節點與第K-1數據節點處于異地，則由于異地IDC的帶寬限制，導致從第K-1數據節點傳送到第K數據節點所花費的時間T<K-1，K>遠遠大于其他所有數據節點之間的傳送時間段，從而使得整個傳送時間T取決于T<K-1，K>。這將導致整個傳送時間T變長，降低了HDFS集群的寫入速度(wps)。

因此，需要一種用于處理一數據塊的方法和數據節點，其能夠在做IDC級別的數據實時冗余方案或異地冗余方案的情況下，減少數據塊在彼此之間處于異地或傳輸帶寬受限的N個數據節點中進行復制冗余時的傳送時間。

發明內容