[發明專利]一種面向AWS平臺的并行系統快速部署方法

有效

• 申請號: 201410444527.3
• 申請日: 2014-09-03
• 公開（公告）號: CN104243563B
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 陸佳民;馮鈞
• 申請（專利權）人: 河海大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06F9/44
• 代理公司: 南京蘇高專利商標事務所(普通合伙)32204
• 代理人: 李玉平

1.一種面向AWS平臺的并行系統快速部署方法，其特征在于利用外部初始化腳本來構建大規模且穩定的計算機集群系統，包括如下步驟：

步驟1，檢測當前系統具有構建與控制AWS EC2計算機集群的必要條件，待設置必要參數后，利用具備內部初始化腳本的系統鏡像，啟動所有實例；

步驟2，等待并確保所有實例啟動成功；

步驟3，為啟動實例添加相應標簽，以區分主實例與其它子實例，并收集主實例的公有鏈接地址，以及所有實例的私有IP地址；其中，最先啟動的實例被視為主實例，并將其Name標簽設置為master，而其它實例為子實例，子實例標簽的Name標簽則均被設置為slaves；

步驟4，利用系統內置的初始化腳本完成所有實例的初始化過程；

初始化主實例，并上傳所收集到的實例私有IP地址信息，具體方法為：

步驟6-1，在AMI所封裝的軟件系統內，其啟動腳本包含實例初始化功能的觸發指令，當實例啟動并被遠程連接時，初始化過程被觸發；為避免重復進行初始化過程，利用一個臨時文件作為系統初始化標記，當初始化結束后則此文件被創建，而在下次實例被連接時，由于此文件的存在，則說明此實例已被初始化或者已用于其它集群，因此返回失敗信息；在主實例被初始化前，所有收集到的實例私有IP地址被上傳；

步驟6-2，通過查看自身的Name標簽來確定當前計算機是否為主實例，否則進入步驟6-5-1；

步驟6-3，根據收集到的實例私有IP地址，修改并行處理系統的所有相關配置文件，然后將所有配置文件封裝并進行壓縮；

步驟6-4，將封裝后的配置文件并行傳輸至所有參與此集群的子實例中；

步驟6-5，標記主實例初始化完成，初始化所有子實例，待全部完成后結束部署；子實例的初始化具體包含兩個步驟：

步驟6-5-1，子實例檢測是否已被初始化，若是則返回步驟6-5；

步驟6-5-2，待接收到步驟6-4傳輸的封裝配置文件后，解壓縮至相應路徑，并標記此子實例初始化完成并返回步驟6-5。

2.根據權利要求1所述的一種面向AWS平臺的并行系統快速部署方法，其特征在于步驟2的實例啟動及等待過程，具體步驟為：

步驟2-1，周期性檢測并收集未順利啟動的實例ID，若全部實例均已啟動，則返回；

步驟2-2，告知用戶未啟動的實例數量，由用戶自行決定是否繼續等待一定周期，若是則返回步驟2-1；

步驟2-3，若用戶決定不再等待，則終止未啟動成功的實例，并再次啟動相應數量的新實例，返回步驟2-1。

3.根據權利要求1所述的一種面向AWS平臺的并行系統快速部署方法，其特征在于步驟4的利用預設于系統鏡像內部的初始化腳本完成實例初始化過程，具體步驟為：

步驟4-1，查看此實例的初始化標記，并將收集到的實例私有IP地址上傳至主實例；

步驟4-2，查看當前是否為主實例，否則進入步驟4-5-1；

步驟4-3，根據主子實例的私有IP地址，修改并行處理系統的所有相關配置文件，然后將所有配置文件封裝并進行壓縮；

步驟4-4，將封裝后的配置文件并行傳輸至所有參與此集群的子實例中；

步驟4-5，標記主實例初始化完成，初始化所有子實例，待全部完成后結束部署；這一過程通過并發進程的方式完成，以便加快整體部署的效率；

步驟4-5利用預設于系統鏡像內部的初始化腳本完成子實例初始化過程，具體步驟為：

步驟4-5-1，實例檢測是否已被初始化，若是則返回；

步驟4-5-2，待接收到步驟4-4傳輸的封裝配置文件后，解壓縮至相應路徑，并標記此子實例初始化完成并返回步驟4-5。

4.根據權利要求1所述的一種面向AWS平臺的并行系統快速部署方法，其特征在于主實例是指由Hadoop系統指定為主計算機的AWS EC2實例，所述的子實例是指由Hadoop系統指定為子計算機的AWS EC2實例。