[發(fā)明專利]HDFS集群高可用部署方法、系統(tǒng)、設備及存儲介質(zhì)在審
| 申請?zhí)枺?/td> | 201910543171.1 | 申請日： | 2019-06-21 |
| 公開（公告）號： | CN110362381A | 公開（公告）日： | 2019-10-22 |
| 發(fā)明（設計）人： | 汪涵 | 申請（專利權(quán)）人： | 深圳市匯川技術股份有限公司 |
| 主分類號： | G06F9/455 | 分類號： | G06F9/455;G06F9/50 |
| 代理公司： | 深圳市順天達專利商標代理有限公司 44217 | 代理人： | 陸軍 |
| 地址： | 518101 廣東省深圳市龍華*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 集群 管理節(jié)點 數(shù)據(jù)節(jié)點 宿主機 可用 上傳 存儲介質(zhì) 倉庫 創(chuàng)建 宿主 數(shù)字化轉(zhuǎn)型 資源利用率 管理容器 集群部署 集群創(chuàng)建 配置文件 數(shù)據(jù)存儲 硬件設備 主管理 部署 門檻 配置 資金 | ||
1.一種HDFS集群高可用部署方法，其特征在于，所述高可用部署方法包括：
為所述HDFS集群創(chuàng)建管理節(jié)點鏡像和數(shù)據(jù)節(jié)點鏡像，所述管理節(jié)點鏡像和數(shù)據(jù)節(jié)點鏡像分別包括將所述HDFS集群配置為高可用模式的配置文件；
將所述管理節(jié)點鏡像和數(shù)據(jù)節(jié)點鏡像分別上傳至鏡像倉庫；
通過Kubernetes平臺將所述HDFS集群部署到多個宿主機上，并由所述Kubernetes平臺基于上傳至所述鏡像倉庫的所述管理節(jié)點鏡像在第一宿主機創(chuàng)建主管理容器、在第二宿主機創(chuàng)建熱備管理容器，并基于上傳至所述鏡像倉庫的數(shù)據(jù)節(jié)點鏡像在至少一個第三宿主機創(chuàng)建數(shù)據(jù)存儲容器。
2.根據(jù)權(quán)利要求1所述的HDFS集群高可用部署方法，其特征在于，所述管理節(jié)點鏡像和數(shù)據(jù)節(jié)點鏡像分別包括相同的啟動腳本，且所述啟動腳本包括：
在主管理容器啟動后，定時向所有數(shù)據(jù)存儲容器廣播所述主管理容器所在的第一宿主機的配置信息的程序代碼；
在熱備管理容器啟動后，定時向所有數(shù)據(jù)存儲容器廣播所述熱備管理容器所在的第二宿主機的配置信息的程序代碼；
在數(shù)據(jù)存儲容器啟動后，定時向所述主管理容器和所述熱備管理容器發(fā)送所述數(shù)據(jù)存儲容器所在的第三宿主機的配置信息的程序代碼。
3.根據(jù)權(quán)利要求2所述的HDFS集群高可用部署方法，其特征在于，所述通過Kubernetes平臺將所述HDFS集群部署到多個宿主機上，包括：
通過第一yaml文件，將所述主管理容器內(nèi)部的共享存儲日志的端口映射到第一宿主機IP地址的對應端口上；
通過第二yaml文件，將所述熱備管理容器內(nèi)部的共享存儲日志的端口映射到第二宿主機IP地址的對應端口上；
通過第三yaml文件，將所述數(shù)據(jù)存儲容器內(nèi)部的共享存儲日志的端口映射到第三宿主機IP地址的對應端口上。
4.根據(jù)權(quán)利要求3所述的HDFS集群高可用部署方法，其特征在于，所述高可用部署方法還包括：
通過所述第一yaml文件，將所述主管理容器內(nèi)的至少一部分數(shù)據(jù)文件掛載到所述第一宿主機；
通過所述第二yaml文件，將所述熱備管理容器內(nèi)的至少一部分數(shù)據(jù)文件掛載到所述第二宿主機；
通過所述第三yaml文件，將所述數(shù)據(jù)存儲容器內(nèi)的至少一部分數(shù)據(jù)文件掛載到所述第三宿主機。
5.一種HDFS集群高可用部署系統(tǒng)，其特征在于，所述高可用部署系統(tǒng)包括鏡像創(chuàng)建單元、鏡像上傳單元以及集群部署單元，其中：
所述鏡像創(chuàng)建單元，用于為所述HDFS集群創(chuàng)建管理節(jié)點鏡像和數(shù)據(jù)節(jié)點鏡像，所述管理節(jié)點鏡像和數(shù)據(jù)節(jié)點鏡像分別包括將所述HDFS集群配置為高可用模式的配置文件；
所述鏡像上傳單元，用于將所述管理節(jié)點鏡像和數(shù)據(jù)節(jié)點鏡像上傳至鏡像倉庫；
所述集群部署單元，用于通過Kubernetes平臺將所述HDFS集群部署到多個宿主機上，并由所述Kubernetes平臺基于上傳至所述鏡像倉庫的所述管理節(jié)點鏡像在第一宿主機創(chuàng)建主管理容器、在第二宿主機創(chuàng)建熱備管理容器，并基于上傳至所述鏡像倉庫的數(shù)據(jù)節(jié)點鏡像在至少一個第三宿主機創(chuàng)建數(shù)據(jù)存儲容器。
6.根據(jù)權(quán)利要求5所述的HDFS集群高可用部署系統(tǒng)，其特征在于，所述管理節(jié)點鏡像和數(shù)據(jù)節(jié)點鏡像分別包括相同的啟動腳本，且所述啟動腳本包括：
在主管理容器啟動后，定時向所有數(shù)據(jù)存儲容器廣播所述主管理容器所在的第一宿主機的配置信息的程序代碼；
在熱備管理容器啟動后，定時向所有數(shù)據(jù)存儲容器廣播所述熱備管理容器所在的第二宿主機的配置信息的程序代碼；
在數(shù)據(jù)存儲容器啟動后，定時向所述主管理容器和所述熱備管理容器發(fā)送所述數(shù)據(jù)存儲容器所在的第三宿主機的配置信息的程序代碼。
該專利技術資料僅供研究查看技術是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳市匯川技術股份有限公司，未經(jīng)深圳市匯川技術股份有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910543171.1/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 一種集群調(diào)度呼叫業(yè)務中主叫終端信息顯示方法
- 更新網(wǎng)絡流量管理設備同時維持有效性
- 與集群調(diào)度系統(tǒng)進行通信的方法、群集接入網(wǎng)關及系統(tǒng)
- 一種管理集群通信系統(tǒng)資源的方法
- 基于Kubernetes和OpenStack容器云平臺多集群構(gòu)建方法、介質(zhì)、設備
- 一種容災系統(tǒng)、容災處理方法、監(jiān)控節(jié)點和備份集群
- 一種ETCD集群恢復方法、系統(tǒng)、設備及計算機介質(zhì)
- 混合云場景下保證可用集群數(shù)量的方法、裝置及系統(tǒng)
- 一種集群拓撲更新方法、系統(tǒng)、設備及計算機存儲介質(zhì)
- 集群切換方法、集群切換裝置、電子設備及可讀存儲介質(zhì)
- 數(shù)據(jù)恢復的方法、數(shù)據(jù)節(jié)點及分布式文件系統(tǒng)
- 一種海量數(shù)據(jù)處理方法、裝置及系統(tǒng)
- 一種數(shù)據(jù)壓縮存儲方法、裝置，及分布式文件系統(tǒng)
- 一種數(shù)據(jù)傳輸方法及通信節(jié)點
- 數(shù)據(jù)管理系統(tǒng)及方法
- 用于劃分節(jié)點的存儲空間的方法和裝置
- 基于圖數(shù)據(jù)的全量關系計算方法、裝置、設備及存儲介質(zhì)
- 數(shù)據(jù)驗證方法、裝置、計算機設備和存儲介質(zhì)
- 一種數(shù)據(jù)處理方法、裝置、設備及可讀存儲介質(zhì)
- 一種分布式數(shù)據(jù)存儲系統(tǒng)及方法
