[發(fā)明專利]一種多數據中心的HDFS數據讀寫系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201410344218.9
• 申請日: 2014-07-18
• 公開（公告）號: CN104113597A
• 公開（公告）日: 2014-10-22
• 發(fā)明（設計）人: 董博;張漢寧;鄭慶華;賀歡;張未展
• 申請（專利權）人: 西安交通大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 朱海臨

技術領域

本發(fā)明涉及計算機云存儲技術，特別涉及一種基于HDFS分布式文件體系的數據讀寫系統(tǒng)及方法。

背景技術

云存儲是在云計算(Cloud?Computing)概念上延伸和發(fā)展而來。云存儲指通過集群、網格技術或分布式文件系統(tǒng)等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業(yè)務訪問功能，并保證數據的安全性等。

目前以開源社區(qū)Apache的Hadoop項目分布式文件體系(Hadoop?Distributed?File?System，簡稱HDFS)和并行編程框架Hadoop?MapReduce為代表的技術逐漸成為海量數據存儲與分析處理的主流技術。其中，HDFS已逐漸成為使用最廣泛的分布式文件系統(tǒng)之一，是當前構建云存儲的主流文件系統(tǒng)。

HDFS系統(tǒng)結構如圖1所示，主要由元數據節(jié)點NameNode、數據節(jié)點DataNode和客戶端Client組成。其中，NameNode也稱Master節(jié)點，負責管理HDFS的名稱空間和數據塊映射信息，配置副本策略，并處理客戶端請求。DataNode也稱為Slave節(jié)點，存儲實際的數據，執(zhí)行數據塊的讀寫操作，并周期性地將存儲的數據塊信息匯報給NameNode。客戶端Client，用于切分數據文件，訪問或通過命令行管理HDFS；與NameNode交互，獲取文件位置信息；與DataNode交互，進行數據讀和寫操作。

目前，HDFS被眾多企業(yè)、高校、科研院所等廣泛應用于數據中心，逐漸成為數據中心的基礎存儲系統(tǒng)，承擔著海量數據存儲任務。隨著越來越多分散在各處的獨立中小型數據中心的建立，各數據中心的存儲資源和數據如何有效共享，如何給外層業(yè)務提供統(tǒng)一的數據訪問接口，成為制約云存儲系統(tǒng)高速發(fā)展和廣泛應用的核心難題之一。目前關于多數據中心的HDFS數據讀寫技術未見有具體的公開報道，是當前亟待解決的技術問題。

發(fā)明內容

本發(fā)明的目的是提供一種可為數據的讀寫提供統(tǒng)一的訪問接口，實現多數據中心信息和資源有效共享的HDFS數據讀寫系統(tǒng)和方法。

為達到以上目的，發(fā)明是采取如下技術方案予以實現的：

一種多數據中心的HDFS數據讀寫系統(tǒng)，其特征在于，包括一個全局元數據服務器、n個數據中心、一個客戶端，各數據中心均有一個元數據節(jié)點和多個數據節(jié)點；全局元數據服務器與客戶端和各數據中心元數據節(jié)點之間采用廣域網鏈接，各數據中心的元數據節(jié)點與數據節(jié)點之間由局域網鏈接；全局元數據服務器用于存儲和管理全局的元數據信息，負責為各數據中心分配元數據命名空間；各數據中心的元數據節(jié)點均包含一個GMS?plugin模塊，負責向全局元數據服務器注冊并定時匯報數據中心資源使用狀態(tài)和元數據信息；全局元數據服務器負責接收客戶端HDFS數據讀寫訪問請求，并根據預設調度算法選擇滿足要求的數據中心；客戶端訪問所選數據中心的元數據節(jié)點，由該元數據節(jié)點進行HDFS數據讀寫的調度，客戶端在HDFS數據讀寫完成后，數據中心的元數據節(jié)點再將元數據的變化信息同步至全局元數據服務器。

一種多數據中心的HDFS數據讀寫方法，其特征在于，包括讀和寫兩大步驟：

第一步，HDFS數據讀，包括：

(1)建立全局元數據服務器，用于存儲和管理全局的元數據信息；全局元數據服務器為各數據中心分配命名空間，各數據中心向全局元數據服務器匯報元數據信息；

(2)全局元數據服務器接收客戶端讀數據請求，按預設算法選擇滿足讀取要求的數據中心，返回所選數據中心的元數據節(jié)點信息；

(3)客戶端訪問數據中心的元數據節(jié)點，元數據節(jié)點按照預設調度算法把數據塊與數據節(jié)點信息返回給客戶端；

(4)客戶端與數據節(jié)點進行交互，讀取數據，讀取完成后通知元數據節(jié)點，讀數據操作完成；

第二步，HDFS數據寫，包括：

(1)同HDFS數據讀的步驟(1)；

(2)全局元數據服務器接收客戶端讀數據請求，按預設算法選擇滿足寫入要求的數據中心，返回所選數據中心的元數據節(jié)點信息；

(3)客戶端訪問所選HDFS數據中心的元數據節(jié)點，元數據節(jié)點創(chuàng)建元數據信息，并按照預設算法分配數據節(jié)點，并將數據節(jié)點信息返回給客戶端；

(4)客戶端與數據節(jié)點進行交互，進行寫數據操作，寫入完成后通知元數據節(jié)點；客戶端寫入數據時采用分塊寫入機制，數據塊副本拷貝由數據節(jié)點自動完成，所有數據塊均寫入成功后通知元數據節(jié)點寫入完成；

(5)在寫入過程完成后，數據中心的元數據節(jié)點將元數據的變化信息同步至全局元數據服務器。