[發明專利]Hadoop分布式文件系統的副本存取方法、裝置和Hadoop分布式文件系統在審
| 申請號： | 201410120902.9 | 申請日： | 2014-03-27 |
| 公開（公告）號： | CN104156381A | 公開（公告）日： | 2014-11-19 |
| 發明（設計）人： | 袁芳;李靖;張宗平;李鳴亮;葉劍鋒 | 申請（專利權）人： | 深圳信息職業技術學院 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30;G06F9/50;H04L29/08 |
| 代理公司： | 深圳中一專利商標事務所 44237 | 代理人： | 張全文 |
| 地址： | 518172 廣東*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | hadoop 分布式 文件系統 副本 存取 方法 裝置 | ||
1.一種Hadoop分布式文件系統的副本存取方法，其特征在于，所述方法包括：
獲取Hadoop分布式文件系統中數據節點的節點負載信息；
在存放副本時，根據所述節點負載信息，將同一數據塊的副本存放在客戶端所在數據節點或者負載最低的數據節點；
在讀取所述副本時，從負載最低的數據節點和/或與客戶端距離最小的數據節點讀取。
2.根據權利要求1所述的方法，其特征在于，所述獲取Hadoop分布式文件系統中數據節點的節點負載信息，包括：
通過與所述數據節點握手，從握手信息中提取Hadoop分布式文件系統中數據節點的節點負載信息。
3.根據權利要求1所述的方法，其特征在于，所述在存放副本時，根據所述節點負載信息，將同一數據塊的副本存放在客戶端所在數據節點或者負載最低的數據節點，包括：
若所述客戶端存在數據節點，則將所述同一數據塊的副本Ci存放在客戶端所在數據節點，否則，將所述副本Ci存放在Hadoop分布式文件系統中負載最低的數據節點Ni，所述副本Ci是所述同一數據塊的副本中的任意一個副本；
將所述同一數據塊的副本Cj存放在數據節點Nj，所述副本Cj是所述同一數據塊的副本中不同于所述副本Ci的任意一個副本，所述數據節點Nj是與所述數據節點Ni屬同一機架并且除所述數據節點Ni之外負載最低的數據節點；
將所述同一數據塊的副本Ck存放在數據節點Nk，所述副本Ck是所述同一數據塊的副本中不同于所述副本Ci和副本Cj的任意一個副本，所述數據節點Nk是與所述數據節點Ni不屬同一機架并且除所述數據節點Ni和數據節點Nj之外負載最低的數據節點；
將所述同一數據塊的剩余副本存放在數據節點Nl，所述同一數據塊的剩余副本是所述同一數據塊的副本中不同于所述副本Ci、副本Cj和副本Ck的任意副本，所述數據節點Nl是除所述數據節點Ni、數據節點Nj和數據節點Nk之外，Hadoop分布式文件系統中負載最低的數據節點。
4.根據權利要求1所述的方法，其特征在于，所述在讀取所述副本時，從負載最低的數據節點和/或與客戶端距離最小的數據節點讀取，包括：
將負載小于預置門限的數據節點按照其與客戶端的距離大小進行升序排序得到初級數據節點列表；
將負載大于預置門限的數據節點按照其負載大小進行升序排序在所述初級數據節點列表后得到最終數據節點列表；
從所述最終數據節點列表的首個數據節點開始，優先從排序在前的數據節點讀取所述副本。
5.一種Hadoop分布式文件系統的副本存取裝置，其特征在于，所述裝置包括：
獲取模塊，用于獲取Hadoop分布式文件系統中數據節點的節點負載信息；
存放模塊，用于在存放副本時，根據所述節點負載信息，將同一數據塊的副本存放在客戶端所在數據節點或者負載最低的數據節點；
讀取模塊，用于在讀取所述副本時，從負載最低的數據節點和/或與客戶端距離最小的數據節點讀取。
6.根據權利要求5所述的裝置，其特征在于，所述獲取模塊包括：
提取單元，用于通過與所述數據節點握手，從握手信息中提取Hadoop分布式文件系統中數據節點的節點負載信息。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深圳信息職業技術學院，未經深圳信息職業技術學院許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201410120902.9/1.html，轉載請聲明來源鉆瓜專利網。
