[發明專利]一種面向AWS平臺的并行系統快速部署方法

有效

• 申請號: 201410444527.3
• 申請日: 2014-09-03
• 公開（公告）號: CN104243563B
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 陸佳民;馮鈞
• 申請（專利權）人: 河海大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06F9/44
• 代理公司: 南京蘇高專利商標事務所(普通合伙)32204
• 代理人: 李玉平

技術領域

本發明涉及一種面向AWS平臺的并行系統快速部署方法，屬于信息技術處理領域。

背景技術

AWS（Amazon Web Services 亞馬遜網絡服務系統）是由亞馬遜公司于2002年開始運營的云計算平臺，提供多種類型的遠端Web服務。其中的EC2（Elastic Compute Cloud 彈性計算云）服務可以讓用戶以租用虛擬計算機（實例）方式，遠程使用不同類型的計算機系統，并且運行任何自己所需要的軟件。租用虛擬計算機的價格隨提供的硬件資源多少而區分，并且用戶可以隨時創建、運行和終止服務，因此AWS EC2被視為一個靈活的、相對廉價的云計算平臺。實例中所包含的操作系統和預安裝軟件取決于它啟動時所選擇的系統鏡像AMI，不僅是AWS官方，任何用戶均可以將自己所設置的軟件環境封裝為AMI，并且提供給其它用戶使用。

由于受到EC2服務自己的限制，申請大量EC2實例來組建計算機集群，并在此上部署基于Hadoop的并行處理平臺的過程繁瑣且耗時。首先的原因在于EC2實例無法擁有一個長久固定的IP地址。一臺EC2實例在其創建時被賦予一個惟一的公有鏈接地址和私有IP地址，分別用于從數據中心外部和內部來對實例進行訪問。在從外部進行訪問時，由于網絡受到途經所有路由的限制，其帶寬有限且會根據使用流量收取相應的費用，而在從內部網絡訪問實例時，則帶寬質量受到保證，且不計入流量費用。此外，當實例被暫停或終止后，僅管不再計價，但相應地，實例的公有鏈接地址與私有IP均被收回，因此在AWS EC2平臺中，無法長久保存一個擁有固定私有IP的計算機集群系統。針對此問題，AWS提供了EIP（Elastic IP 彈性IP）服務，用于租用一系列固定的私有IP地址，但會收取一定的額外費用。

其次，在部署基于Hadoop的并行處理平臺時，需要修改一定數量的配置文件，如masters、slaves、core-site.xml等，用于設置當前集群中的主實例與子實例的IP址址。由于受到不能獲取固定IP的問題局限，每當建立一個新的集群系統時，都要對這些文件需要進行更新。當集群規模超過50臺實例時，廣播傳輸更新后的文件也需要耗費一定的時間與費用。

最后，由于EC2平臺自身存在的不穩定性，在申請大批量實例時，會存在部分實例無法順利啟動的問題，從而對其它已啟動實例的計算資源造成了浪費。

這種AWS EC2服務的不穩定性以及無法免費獲取固定私有IP地址的局限構成了在此平臺上部署基于Hadoop平臺的并行處理系統的一個技術難點。

目前，也沒有公開發表的技術或手段來對此問題加以解決。

發明內容

本發明所要解決的技術問題是針對上述背景技術的不足，提供一種面向AWS平臺的并行系統快速部署方法。

本發明為實現上述發明目的采用如下技術方案：

步驟1，檢測當前系統是否準備有EC2命令行工具以及其它必須文件，如賬戶私有密鑰等；

步驟2，設置啟動EC2實例的參數，包括實例數量、類型，AMI ID，主子實例的標簽名，數據中心的名稱，防火墻規則等，并啟動所有實例；

步驟3，等待并確保所有實例啟動成功，具體方法為：

步驟3-1，檢測并收集當前未順利啟動的實例ID，若全部實例均已啟動，則返回；

步驟3-2，告知用戶未啟動的實例數量，詢問是否繼續等待一定周期（如10s），若是則返回步驟3-1；

步驟3-3，終止未啟動成功的實例，并再次啟動相應數量的新實例，返回步驟3-1；

步驟4，為啟動實例添加相應標簽，以區分主實例與其它子實例；

步驟5，收集主實例的公有鏈接地址，以及所有實例的私有IP地址；

步驟6，初始化主實例，并上傳所收集到的實例私有IP地址信息，具體方法為：

步驟6-1，查看此實例的初始化標記，若存在則說明此實例已用于其它集群，則返回失敗信息，否則將收集到的實例私有IP地址上傳至主實例；

步驟6-2，查看當前是否為主實例，否則進入步驟6-5-1；

步驟6-3，根據主子實例的私有IP地址，修改并行處理系統的所有相關配置文件，然后將所有配置文件封裝并進行壓縮；

步驟6-4，將封裝后的配置文件并行傳輸至所有參與此集群的子實例中；

步驟6-5，標記主實例初始化完成，初始化所有子實例，待全部完成后結束部署。這一過程通過并發進程的方式完成，以便加快整體部署的效率，具體包含兩個步驟：

步驟6-5-1，子實例檢測是否已被初始化，若是則返回步驟6-5；