[發明專利]一種hadoop數據存儲方法和裝置

在審

• 申請號: 201710799237.4
• 申請日: 2017-09-07
• 公開（公告）號: CN107566496A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 辛永欣
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 李紅爽,李丹

1.一種hadoop數據存儲方法，其特征在于，包括：

當接收到用戶提交的數據存儲請求時，名字節點NameNode從多個不同機架中隨機選取預設數量的數據節點DataNode；

獲取所述預設數量的DataNode中各個DataNode在網絡拓撲中到當前DataNode的距離信息以及各個DataNode當前存放的數據副本數量；

根據所述距離信息以及所述數據副本數量計算所述每個DataNode的調度評價值；

根據計算出的所述調度評價值選取數據存放節點。

2.根據權利要求1所述的hadoop數據存儲方法，其特征在于，所述當接收到用戶提交的數據存儲請求時，名字節點NameNode從多個不同機架中隨機選取預設數量的數據節點DataNode包括：

根據所述數據存儲請求，所述NameNode調用預設的副本放置策略BlockPlacementPolicy；其中，所述BlockPlacementPolicy的節點選取函數chooseTarget()中增加有網絡拓撲NetworkTopology類成員變量clusterMap；

根據所述clusterMap的節點選擇函數Node chooseRandom(String scope)從所述多個不同機架中獲得隨機的DataNode。

3.根據權利要求2所述的hadoop數據存儲方法，其特征在于，所述獲取所述預設數量的DataNode中各個DataNode在網絡拓撲中到當前DataNode的距離信息包括：

根據所述clusterMap的目標距離函數intgetDistance(Node node1，Node node2)獲得所述各個DataNode與所述當前DataNode之間的網絡距離。

4.根據權利要求1所述的hadoop數據存儲方法，其特征在于，所述獲取各個DataNode當前存放的數據副本數量包括：

調用Hadoop系統中描述DataNode的數據節點描述策略DataNodeDescriptor；

根據所述DataNodeDescriptor中的塊數據組函數intnumBlocks()獲取所述各個DataNode上已經存放的數據塊數量，作為所述數據副本數量。

5.根據權利要求1所述的hadoop數據存儲方法，其特征在于，所述根據所述距離信息以及所述數據副本數量計算所述每個DataNode的調度評價值包括：將獲取的關于每個DataNode的所述距離信息以及所述數據副本數量代入以下預設的節點評價函數計算所述每個DataNode的調度評價值E：

E＝f(ld,d)＝Al+(1-A)d；

其中，f(ld,d)為節點評價函數；l為該DataNode的負載系數，反比于該DataNode當前存放的數據副本數量；d為距離系數，反比于該DataNode到當前DataNode的網絡距離；A∈[0，1]為平衡因子。

6.根據權利要求1所述的hadoop數據存儲方法，其特征在于，所述根據計算出的所述調度評價值選取數據存放節點包括：

對計算出的調度評價值進行排序；

依據所述調度評價值從高到低選取數據存放節點。

7.一種hadoop數據存儲裝置，其特征在于，包括：選取模塊、獲取模塊、計算模塊和存儲模塊；

所述選取模塊，用于當接收到用戶提交的數據存儲請求時，從多個不同機架中隨機選取預設數量的數據節點DataNode；

所述獲取模塊，用于獲取所述預設數量的DataNode中各個DataNode在網絡拓撲中到當前DataNode的距離信息以及各個DataNode當前存放的數據副本數量；

所述計算模塊，用于根據所述距離信息以及所述數據副本數量計算所述每個DataNode的調度評價值；

所述存儲模塊，用于根據計算出的所述調度評價值選取數據存放節點。