[發明專利]Hadoop分布式文件系統的訪問方法、系統和裝置

有效

• 申請號: 201310673855.6
• 申請日: 2013-12-11
• 公開（公告）號: CN104144202A
• 公開（公告）日: 2014-11-12
• 發明（設計）人: 吳云佳
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

技術領域

本發明涉及數據處理技術，特別涉及Hadoop分布式文件系統的訪問方法、系統和裝置。

背景技術

Hadoop是一個分布式系統基礎架構，用戶可以在不了解分布式底層細節的情況下，開發分布式程序，充分利用集群的威力高速運算和存儲。

Hadoop分布式文件系統（HDFS，Hadoop?Distributed?File?System）是Hadoop使用的分布式文件系統，是一種具有高容錯性和高吞吐量，適合存儲和處理大數據的分布式文件系統。

在涉及到大數據服務和處理的產品中，使用HDFS是一種高效、快速成熟的解決方案，利用HDFS的特點，存儲海量數據并對外提供服務。

現有技術中，對HDFS的訪問主要采用以下兩種方式：

1）通過Hadoop客戶端（Hadoop?Client）調用的方式，Hadoop?Client是Hadoop配套提供的讀寫和控制工具，使用方式是命令行調用；

2）利用Libhdfs，采用編程的方式來對HDFS進行訪問，但是Libhdfs底層也需要依賴Hadoop?Client。

可見，無論是采用方式1）還是方式2）來對HDFS進行訪問，均需要在訪問設備上安裝Hadoop?Client。圖1為現有訪問設備與HDFS之間的關系示意圖。如圖1所示，其中的每個訪問設備上均需要安裝有Hadoop?Client。

這樣，在實際應用中就會存在以下問題：當訪問設備的數量較多，如超過幾百甚至達到上千時，一旦需要對Hadoop?Client進行版本升級等，實現成本將會非常高。

發明內容

有鑒于此，本發明提供了Hadoop分布式文件系統的訪問方法、系統和裝置，能夠降低實現成本。

為了達到上述目的，本發明的技術方案是這樣實現的：

一種Hadoop分布式文件系統的訪問方法，包括：

當需要訪問Hadoop分布式文件系統時，訪問設備從預先設置的M個接口服務器中選出一個接口服務器，并將訪問請求發送給所選出的接口服務器，所述M為正整數；

所選出的接口服務器調用自身安裝的Hadoop客戶端，通過所述Hadoop客戶端訪問所述Hadoop分布式文件系統，完成本次訪問請求。

一種Hadoop分布式文件系統的訪問系統，包括：P個訪問設備和M個接口服務器；其中，所述P為大于1的正整數，所述M為正整數；

所述訪問設備，用于當需要訪問所述Hadoop分布式文件系統時，從所述M個接口服務器中選出一個接口服務器，并將訪問請求發送給所選出的接口服務器；

所述接口服務器，用于當接收到來自所述訪問設備的訪問請求時，調用自身安裝的Hadoop客戶端，通過所述Hadoop客戶端訪問所述Hadoop分布式文件系統，完成本次訪問請求。

一種訪問設備，包括：

第一處理模塊，用于當需要訪問Hadoop分布式文件系統時，從預先設置的M個接口服務器中選出一個接口服務器，并將所選出的接口服務器通知給第二處理模塊，所述M為正整數；

所述第二處理模塊，用于將訪問請求發送給所選出的接口服務器。

一種接口服務器，包括：

第三處理模塊，用于接收來自訪問設備、針對Hadoop分布式文件系統的訪問請求，并發送給第四處理模塊；

所述第四處理模塊，用于調用所述接口服務器中安裝的Hadoop客戶端，通過所述Hadoop客戶端訪問所述Hadoop分布式文件系統，完成本次訪問請求。

可見，采用本發明所述方案，訪問設備可通過接口服務器來完成對Hadoop分布式文件系統的訪問，從而僅需要在接口服務器上安裝Hadoop客戶端，不需要在訪問設備上安裝Hadoop客戶端，而對于一套Hadoop分布式文件系統，通常只需要部署很少的幾個接口服務器即可滿足要求，因此當需要對Hadoop客戶端進行版本升級等時，實現成本將會非常低，即相比于現有技術，顯著降低了實現成本。

附圖說明

圖1為現有訪問設備與HDFS之間的關系示意圖。

圖2為本發明HDFS的訪問方法實施例的流程圖。

圖3為本發明HDFS的訪問方法較佳實施例的流程圖。

圖4為本發明HDFS的訪問系統實施例的組成結構示意圖。

圖5為本發明訪問設備實施例的組成結構示意圖。

圖6為本發明接口服務器實施例的組成結構示意圖。

具體實施方式