[發明專利]一種基于NFS文件服務器的文本文件多機并行上傳到HDFS方法

在審

• 申請號: 201410584207.8
• 申請日: 2014-10-28
• 公開（公告）號: CN104408047A
• 公開（公告）日: 2015-03-11
• 發明（設計）人: 房體盈;辛國茂
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種基于NFS文件服務器的文本文件多機并行上傳到HDFS方法,?其特征在于，選取HDFS集群中N個主機，然后選擇任一節點作為主節點，其他N-1個節點作為從節點，在主節點上，獲取要上傳的NFS文件服務器要上傳目錄下文件，對于每一個文件，采用并行上傳方法，即集群中所有機器都參與上傳，集群中每一臺主機負責上傳每一個文件1/N大小的連續的數據塊,達到并行上傳的目的，從而提高上傳速度，具體步驟流程為：

主節點上MainPut程序計算N個節點每個節點待上傳數據塊起止字節流,并啟動N個節點上BlockPut程序并行上傳；如果第一次運行，會在每一個節點上安裝一個可執行程序BlockPut，用于上傳本節點所負責上傳的數據塊，然后向每一個從節點發起命令啟動BlockPut程序；

2）每個節點上BlockPut程序負責將待上傳數據塊上傳到HDFS，BlockPut打開一個待上傳文件輸入流InputStream，InputStream定位到起始字節流,后在HDFS上創建一個獨立文件，將起止字節流寫入到HDFS獨立文件中。

2.根據權利要求1所述的方法，其特征在于將待上傳目錄掛載到N個節點的默認統一目錄。

3.根據權利要求1所述的方法，其特征在于，N不大于NFS文件服務器并行讀時可達最大帶寬時的客戶端數。