[發明專利]一種面向AWS平臺的分布式數據管理方法在審
| 申請號: | 201410444864.2 | 申請日: | 2014-09-03 |
| 公開(公告)號: | CN104243564A | 公開(公告)日: | 2014-12-24 |
| 發明(設計)人: | 陸佳民;馮鈞 | 申請(專利權)人: | 河海大學 |
| 主分類號: | H04L29/08 | 分類號: | H04L29/08;G06F17/30 |
| 代理公司: | 南京蘇高專利商標事務所(普通合伙) 32204 | 代理人: | 李玉平 |
| 地址: | 211100 江*** | 國省代碼: | 江蘇;32 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 面向 aws 平臺 分布式 數據管理 方法 | ||
1.一種面向AWS平臺的分布式數據管理方法,其特征在于,利用集中式數據分配與批量式數據掛載的方式來進行大規模集群數據準備,包括如下步驟:
步驟1,創建單臺實例并掛載大量小容量EBS卷組,實現大數據的劃分與分配;
步驟2,創建全部集群實例,與得到數據分配后的EBS卷組進行并行匹配掛載;
步驟3,待計算任務結束后,對存儲服務與計算服務進行分離,卸載所有EBS卷組并終止集群實例,將并行數據結果單獨存留在EBS卷組中。
2.根據權利要求1所述的一種面向AWS平臺的分布式數據管理方法,其特征在于,步驟1的數據分配,具體步驟為:
步驟1-1,依據卷組標簽掃描所需EBS卷組ID,采用循環模式分配存儲設備名稱,在實例外部利用EC2命令行工具進行掛載后向實例提交所有設備名;
步驟1-2,實例內部創建所有掛載文件路徑并賦予相應權限,與接收到的存儲設備進行系統級別掛載;
步驟1-3,利用用戶自定義方法對集群數據進行劃分,并對應轉移到相應的小容量存儲設備中去。
3.根據權利要求1所述的一種面向AWS平臺的分布式數據管理方法,其特征在于步驟2的并行配對掛載,具體步驟為:
步驟2-1,依據資源標簽掃描可用的EBS卷組與集群實例ID,利用循環模式進行配對掛載后,對每一實例上傳分配的存儲設備名;
步驟2-2,并行訪問所有實例,創建掛載文件路徑并賦予讀寫權限,在系統級別掛載設備。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于河海大學,未經河海大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201410444864.2/1.html,轉載請聲明來源鉆瓜專利網。





