[發明專利]讀取和寫入用于HADOOP計算的數據的方法和系統

有效

• 申請號: 201410305744.4
• 申請日: 2014-06-30
• 公開（公告）號: CN104050290B
• 公開（公告）日: 2018-03-02
• 發明（設計）人: 楊斐
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京天健君律專利代理事務所(普通合伙)11461
• 代理人: 羅延紅,逯博

1.一種從非HADOOP分布式文件系統HDFS讀取用于HADOOP計算的輸入數據的方法，其特征在于，所述方法包括：

定義用于從所述非HDFS讀取數據的數據讀取類，所述數據讀取類繼承RecordReader類；

實現在HADOOP分布式計算模型中的InputFormat類中的getRecordReader方法和getSplits方法，

其中，在實現的getRecordReader方法中，創建定義的數據讀取類的實例或對象并返回所述實例或對象，并且在實現的getSplits方法中，將從調用的getRecordReader方法返回的RecordReader實例或對象確認為定義的數據讀取類的實例或對象。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：配置HADOOP應用從所述非HDFS上指定的位置讀取所述輸入數據。

3.根據權利要求2所述的方法，其特征在于，所述非HDFS為網絡文件系統NFS。

4.一種將HADOOP計算的輸出數據寫入非HDFS的方法，其特征在于，所述方法包括：

定義用于將所述輸出數據寫入所述非HDFS的數據寫入類，所述數據寫入類繼承RecordWriter類；

實現在HADOOP分布式計算模型中的OutputFormat類中的getRecordWriter方法，

其中，在實現的getRecordWriter方法中，創建定義的數據寫入類的實例或對象并返回所述實例或對象。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：配置HADOOP應用將所述輸出輸入寫入所述非HDFS上指定的位置。

6.根據權利要求5所述的方法，其特征在于，所述非HDFS為NFS。

7.一種從非HDFS讀取用于HADOOP計算的輸入數據的系統，其特征在于，所述系統包括：

讀取類定義模塊，用于定義用于從所述非HDFS讀取數據的數據讀取類，所述數據讀取類繼承RecordReader類；

讀取方法實現模塊，用于實現在HADOOP分布式計算模型中的InputFormat類中的getRecordReader方法和getSplits方法，

其中，在實現的getRecordReader方法中，讀取方法實現模塊創建讀取類定義模塊定義的數據讀取類的實例或對象并返回所述實例或對象，并且在實現的getSplits方法中，讀取方法實現模塊將從調用的getRecordReader方法返回的RecordReader實例或對象確認為定義的數據讀取類的實例或對象。

8.根據權利要求7所述的系統，其特征在于，所述系統還包括：應用配置模塊，用于配置HADOOP應用從所述非HDFS上指定的位置讀取所述輸入數據。

9.根據權利要求8所述的系統，其特征在于，所述非HDFS為NFS。

10.一種將HADOOP計算的輸出數據寫入非HDFS的系統，其特征在于，所述系統包括：

寫入類定義模塊，用于定義用于將所述輸出數據寫入所述非HDFS的數據寫入類，所述數據寫入類繼承RecordWriter類；

寫入方法實現模塊，用于實現在HADOOP分布式計算模型中的OutputFormat類中的getRecordWriter方法，

其中，在實現的getRecordWriter方法中，寫入方法實現模塊創建定義的數據寫入類的實例或對象并返回所述實例或對象。

11.根據權利要求10所述的系統，其特征在于，所述系統還包括：應用配置模塊，用于配置HADOOP應用將所述輸出輸入寫入所述非HDFS上指定的位置。

12.根據權利要求11所述的系統，其特征在于，所述非HDFS為NFS。