[發明專利]一種多數據中心的HDFS數據讀寫系統及方法

有效

• 申請號: 201410344218.9
• 申請日: 2014-07-18
• 公開（公告）號: CN104113597A
• 公開（公告）日: 2014-10-22
• 發明（設計）人: 董博;張漢寧;鄭慶華;賀歡;張未展
• 申請（專利權）人: 西安交通大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 朱海臨

1.一種多數據中心的HDFS數據讀寫系統，其特征在于，包括一個全局元數據服務器、n個數據中心、一個客戶端，各數據中心均有一個元數據節點和多個數據節點；全局元數據服務器與客戶端和各數據中心元數據節點之間采用廣域網鏈接，各數據中心的元數據節點與數據節點之間由局域網鏈接；全局元數據服務器用于存儲和管理全局的元數據信息，負責為各數據中心分配元數據命名空間；各數據中心的元數據節點均包含一個GMS?plugin模塊，負責向全局元數據服務器注冊并定時匯報數據中心資源使用狀態和元數據信息；全局元數據服務器負責接收客戶端HDFS數據讀寫訪問請求，并根據預設調度算法選擇滿足要求的數據中心；客戶端訪問所選數據中心的元數據節點，由該元數據節點進行HDFS數據讀寫的調度，客戶端在HDFS數據讀寫完成后，數據中心的元數據節點再將元數據的變化信息同步至全局元數據服務器。

2.一種多數據中心的HDFS數據讀寫方法，其特征在于，包括讀和寫兩大步驟：

第一步，HDFS數據讀，包括：

(1)建立全局元數據服務器，用于存儲和管理全局的元數據信息；全局元數據服務器為各數據中心分配命名空間，各數據中心向全局元數據服務器匯報元數據信息；

(2)全局元數據服務器接收客戶端讀數據請求，按預設算法選擇滿足讀取要求的數據中心，返回所選數據中心的元數據節點信息；

(3)客戶端訪問數據中心的元數據節點，元數據節點按照預設調度算法把數據塊與數據節點信息返回給客戶端；

(4)客戶端與數據節點進行交互，讀取數據，讀取完成后通知元數據節點，讀數據操作完成；

第二步，HDFS數據寫，包括：

(1)同HDFS數據讀的步驟(1)；

(2)全局元數據服務器接收客戶端讀數據請求，按預設算法選擇滿足寫入要求的數據中心，返回所選數據中心的元數據節點信息；

(3)客戶端訪問所選HDFS數據中心的元數據節點，元數據節點創建元數據信息，并按照預設算法分配數據節點，并將數據節點信息返回給客戶端；

(4)客戶端與數據節點進行交互，進行寫數據操作，寫入完成后通知元數據節點；客戶端寫入數據時采用分塊寫入機制，數據塊副本拷貝由數據節點自動完成，所有數據塊均寫入成功后通知元數據節點寫入完成；

(5)在寫入過程完成后，數據中心的元數據節點將元數據的變化信息同步至全局元數據服務器。

3.如權利要求2所述的多數據中心的HDFS數據讀寫方法，其特征在于，所述客戶端讀數據請求包括文件路徑、數據塊索引、緩沖區大小之任何一特征；所述客戶端寫數據請求包括新創建文件路徑、寫入數據大小、訪問權限之任何一特征。

4.如權利要求2所述的多數據中心的HDFS數據讀寫方法，其特征在于，所述全局元數據服務器預設的數據中心選擇算法根據讀或寫數據請求和各數據中心的數據分布、系統性能、負載情況之任何一特征，采用數據分布優先、性能優先策略選擇數據中心。

5.如權利要求2所述的多數據中心的HDFS數據讀寫方法，其特征在于，所述元數據節點預設調度算法包括根據數據大小、分塊數量、數據塊與客戶端的距離、數據塊分布之任何一特征，按距離優先、分布公平策略進行選擇。