[發明專利]一種基于OpenStack的提供Hadoop服務的方法

在審

• 申請號: 201410274010.4
• 申請日: 2014-06-18
• 公開（公告）號: CN104065716A
• 公開（公告）日: 2014-09-24
• 發明（設計）人: 田佳琦;陳曙東;褚振
• 申請（專利權）人: 江蘇物聯網研究發展中心
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/455
• 代理公司: 無錫市大為專利商標事務所(普通合伙) 32104
• 代理人: 殷紅梅

1.一種基于OpenStack的提供Hadoop服務的方法，其特征在于，包括下述步驟：

首先搭建基于OpenStack的云平臺，提供IaaS的服務，并另外架設一個系統控制節點；

其次進行下述步驟：

S1.系統控制節點接受用戶輸入，記錄用戶需求；

S2.系統控制節點向云平臺發送請求，按照用戶需求申請虛擬機資源，云平臺創建預裝好Hadoop環境的虛擬機集群；

S3.為虛擬機集群中的主節點分配公網IP地址；

S4.系統控制節點創建配置文件目錄，并生成Hadoop啟動時所需要的配置文件；

S5.系統控制節點將守護程序上傳到虛擬機集群主節點上；

S6.系統控制節點將步驟4中設置好的配置文件目錄上傳到主節點中，用來啟動Hadoop服務；

S7.主節點啟動步驟5中收到的守護程序，用來和系統控制節點交互；

S8. 主節點中的守護程序開始接收命令：

當命令為創建Hadoop集群時：進入步驟S9；當命令為運行作業時：進入步驟S10；

S9.創建Hadoop集群，包括：

S9-1.虛擬機集群根據步驟6中收到的配置文件，啟動Hadoop服務；

S9-2.主節點根據配置文件，尋找從節點并同步配置，建立Hadoop集群；

S9-3.虛擬機集群對Hadoop服務所依賴的HDFS分布式文件系統進行格式化；

S9-4.完成啟動；

S10.運行命令所對應的作業。

2.如權利要求1所述的基于OpenStack的提供Hadoop服務的方法，其特征在于：

步驟S4中，還包括系統控制節點根據用戶的輸入來修改配置文件的步驟。

3.如權利要求1所述的基于OpenStack的提供Hadoop服務的方法，其特征在于：

步驟S10具體包括：

S10-1.啟動Hadoop服務；

S10-2. 搭建一個用于讀寫Swift數據的中間層，用于對Swift文件系統的讀寫；

S10-3.在Swift節點中讀取計算所需的數據文件，和用戶所需的算法，分配給各個節點，開始命令所對應的計算作業；

S10-4.將計算結果保存，并返回系統控制節點。

4.如權利要求3所述的基于OpenStack的提供Hadoop服務的方法，其特征在于：

步驟S10運行的是MapReduce作業。