[發明專利]一種多線程數據上傳方法在審
| 申請號： | 201410722793.8 | 申請日： | 2014-12-02 |
| 公開（公告）號： | CN104408147A | 公開（公告）日： | 2015-03-11 |
| 發明（設計）人： | 金洪殿;辛國茂;劉偉;盧軍佐 | 申請（專利權）人： | 浪潮（北京）電子信息產業有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 北京安信方達知識產權代理有限公司 11262 | 代理人： | 王丹;李丹 |
| 地址： | 100085 北京市海*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 多線程 數據 上傳 方法 | ||
【權利要求書】：
1.一種多線程數據上傳方法，其特征在于，包括：
S1：配置需要上傳的文件所在源路徑信息、文件需要上傳到HDFS系統的目的路徑信息以及可以使用的線程數目信息；
S2：根據所述需要上傳的文件的數據量和配置的所述線程數目信息確定每個線程需要處理的數據范圍；
S3：基于步驟S1配置的所述信息和步驟S2確定的所述數據范圍執行多線程并行數據上傳。
2.如權利要求1所述的方法，其特征在于：
所述步驟S2中所述的數據范圍包括每個線程需要上傳的文件數據的開始位置偏移量和結束位置偏移量。
3.如權利要求2所述的方法，其特征在于：
所述多線程并行數據上傳具體包括如下步驟：
S31：所述線程首先判斷數據上傳開始位置偏移量是否為0，如果是，則執行步驟S32，否則執行步驟S33；
S32：所述線程將所述開始位置偏移量處到所述結束位置偏移量處的數據上傳到HDFS系統，并執行步驟S34；
S33：所述線程從所述開始位置偏移量處向后依次讀取每一字節數據，直至讀取到的數據為換行符，將所述換行符后到所述結束位置偏移量處的數據上傳到HDFS系統；
S34：從所述結束位置偏移量處向后依次讀取每一字節數據并上傳，直至所讀取到的數據為換行符，流程結束。
下載完整專利技術內容需要扣除積分，VIP會員可以免費下載。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于浪潮（北京）電子信息產業有限公司，未經浪潮（北京）電子信息產業有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201410722793.8/1.html，轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
