[發明專利]一種基于Hadoop的分布式云存儲自動分級數據管理系統

有效

• 申請號: 201210499413.X
• 申請日: 2012-11-29
• 公開（公告）號: CN103023995A
• 公開（公告）日: 2013-04-03
• 發明（設計）人: 張大華;羅志明;周里濤
• 申請（專利權）人: 中國電力科學研究院;四川省電力公司;國家電網公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種基于Hadoop的分布式云存儲自動分級數據管理系統，其特征在于：所述系統包括節點服務器和中心服務器，所述節點服務器采集服務器狀態消息和數據溫度分布消息，并將所采集的消息發送到所述中心服務器的數據分級管理模塊。

2.根據權利要求1所述的基于Hadoop的分布式云存儲自動分級數據管理系統，其特征在于：所述節點服務器包括服務器信息采集模塊、數據溫度采集模塊和數據分級代理模塊；所述服務器信息采集模塊和數據溫度采集模塊分別采集服務器狀態消息和數據溫度分布消息，并分別將采集的消息發送到所述數據分級管理模塊。

3.根據權利要求2所述的基于Hadoop的分布式云存儲自動分級數據管理系統，其特征在于：所述服務器信息采集模塊部署在HDFS集群的數據節點上，所述數據溫度采集模塊和數據分級代理模塊部署在所述HDFS集群的名字節點上，所述數據分級管理模塊部署在所述中心服務器上。

4.根據權利要求2所述的基于Hadoop的分布式云存儲自動分級數據管理系統，其特征在于：所述服務器狀態消息包含數據節點的硬件配置和運行狀態信息，所述數據溫度分布消息包含數據溫度消息和數據分布消息。

5.根據權利要求1所述的基于Hadoop的分布式云存儲自動分級數據管理系統，其特征在于：所述消息均包括消息頭和消息體，所述消息頭包括中心服務器名稱、IP地址、節點ID、加密方法、校驗和時間戳；所述消息體包括經消息頭指定加密方法加密后的節點硬件配置、節點運行狀態、數據溫度和數據分布。

6.根據權利要求1所述的基于Hadoop的分布式云存儲自動分級數據管理系統，其特征在于：所述數據分級代理模塊接收帶外數據分級命令，解析所述帶外數據分級命令獲取需要移動數據塊信息，并將所獲取信息告知名字節點，所述名字節點接收信息的同時復制目標數據塊到目標節點，并刪除源數據節點上的數據塊，需要移動數據塊消息全部獲取結束后，名字節點向數據分級代理模塊發送成功消息，所述數據分級代理模塊向數據分級管理模塊發送確認消息。

7.根據權利要求6所述的基于Hadoop的分布式云存儲自動分級數據管理系統，其特征在于：所述需要移動數據塊信息包括需要移動的目標數據塊ID、源數據節點ID和目的節點ID。

8.根據權利要求1-3任一所述的基于Hadoop的分布式云存儲自動分級數據管理系統，其特征在于：所述中心服務器包括消息接收模塊、信息持久化模塊、信息緩存模塊、數據分級管理模塊、指令加工模塊、指令發送模塊、分析引擎模塊節點和注冊模塊。

9.根據權利要求8任一所述的基于Hadoop的分布式云存儲自動分級數據管理系統，其特征在于：所述消息接收模塊接收來自數據節點和名字節點分別發送的服務器狀態消息和數據溫度分布消息，對消息進行解析并送往所述數據分級管理模塊；

所述數據分級管理模塊生成帶外數據分級命令，并周期性發送給名字節點；

所述信息緩存模塊接收來自消息接收模塊的消息，經過處理形成有效信息存入信息緩存區，同時管理和維護信息緩存區內容，并將信息分類后發送給數據分級管理模塊，所述信息緩存區內容包括信息的創建、更新和刪除；

當信息緩存區超出容量或時間計數器結束或服務停止時，所述信息持久化模塊對經過信息緩存模塊處理后的消息寫入到磁盤，數據分級管理模塊從磁盤讀取信息，送入信息緩存區；

所述分析引擎模塊信息緩存模塊發送的服務器狀態消息和數據溫度分布消息，形成數據溫度分布式矢量圖，并維護數據溫度分布矢量圖的狀態更新；根據數據溫度分布式矢量圖形成帶外數據分級指令，發送給指令加工模塊；

所述指令加工模塊根據分析引擎模塊輸出的內容，加工形成可以由指令發送模塊發送給特定節點的指令編碼；

所述指令發送模塊接收來自所述數據分級管理模塊生成的帶外數據分級命令，并根據所接收指令向目標節點發送指令；

所述節點注冊模塊接收來自信息緩存區的注冊信息，并注冊或更新指定節點的信息。