[發明專利]一種基于HDFS的云環境數據存儲優化方法

在審

• 申請號: 202010565890.6
• 申請日: 2020-06-19
• 公開（公告）號: CN111708497A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 汪禮君
• 申請（專利權）人: 汪禮君
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/14
• 代理公司: 長沙正務聯合知識產權代理事務所(普通合伙) 43252
• 代理人: 鄭雋;吳婷

1.一種基于HDFS的云環境數據存儲優化方法，其特征在于，所述方法包括：

將HDFS集群各個節點的元數據以及存儲數據放入預創建的數據卷容器中；

獲取集群中各個節點的IP地址并將其告知給集群中的所有其余節點，以實現集群的正常建立與通信；

分別計算各個物理機以及數據卷容器中HDFS集群節點的可用存儲空間評估值；

計算各個物理機的可用性值，并根據物理機的可用性值計算基于物理卷容器的HDFS集群節點的性能評估值；

基于數據卷容器的HDFS集群接收客戶端發來的數據塊，NameNode將根據數據塊備份數n返回對應數目的可用存儲空間評估值最大的節點或性能評估值最大的集群節點作為目標存儲節點，以進行數據塊副本的存儲；

對待存儲數據的數據屬性信息增益比進行計算；

利用基于信息增益比與加權的KADC-KNN算法對HDFS集群中待存儲的數據塊進行劃分；

使用Federation HDFS集群代替傳統的HDFS集群，對于經過基于信息增益比與加權的KADC-KNN算法所劃分完成的待存儲數據塊，以不同的存儲策略存儲進Federation HDFS集群當中。

2.如權利要求1所述的一種基于HDFS的云環境數據存儲優化方法，其特征在于，所述將HDFS各節點數據放入數據卷容器，包括：

對于NameNode節點，本發明使用數據卷中的dfs.name.dir對Name Node節點存儲HDFS集群文件目錄樹、元數據信息的本地系統路徑進行系統路徑修改，將本地系統路徑修改為數據卷容器的路徑，實現了將HDFS集群文件目錄樹以及元數據導入預創建的數據卷容器中；

對于DataNode節點，本發明使用數據卷中的dfs.data.dir對Data Node節點存儲集群數據時的本地路徑進行系統路徑修改，將本地系統路徑修改為數據卷容器的路徑，實現了將HDFS集群各個數據節點的數據導入預創建的數據卷容器中。

3.如權利要求2所述的一種基于HDFS的云環境數據存儲優化方法，其特征在于，所述獲取集群中各個節點的IP地址并將其告知給集群中的所有其余節點，包括：

通過對容器集群中的各節點所分發的IP地址進行收集；

將所收集的IP地址與容器名進行映射，在收集映射完后分發到各個節點，使得各節點收到其他節點的IP地址與對應的容器名。

4.如權利要求3所述的一種基于HDFS的云環境數據存儲優化方法，其特征在于，所述各個物理機以及數據卷容器中HDFS集群節點的可用存儲空間評估值的計算過程為：

1)計算各個物理機以及數據卷容器中HDFS集群節點的可用存儲空間：

rsp_x＝tsp_x-usp_x

msp_x＝min(rsp₁，rsp₂，...，rsp_y，...)

其中：

rsp_x為物理機rsp_i或集群節點rsp_j的可用存儲空間；

tsp_x為物理機或集群節點的存儲空間；

usp_x為物理機或集群節點已經使用的存儲空間；

msp_x為物理機的最小可用存儲空間以及集群節點的最小可用存儲空間；

2)分別計算各個物理機與最小可用存儲空間msp_x的差值M_i(1≤i≤p)、集群節點與最小可用存儲空間msp_x的差值m_j(1≤j≤d)，其中，p表示物理機的個數，d表示集群節點的個數：

M_i＝rsp_i-msp_i

m_j＝rsp_j-msp_j

3)計算各個物理機以及HDFS集群點的可用存儲空間評估值PM_i與dm_j：

其中：

p為物理機的個數；

d為集群節點的個數。