[發(fā)明專利]分布式文件系統(tǒng)容災(zāi)配置方法、裝置和可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710910147.8
• 申請(qǐng)日: 2017-09-29
• 公開（公告）號(hào): CN109582509A
• 公開（公告）日: 2019-04-05
• 發(fā)明（設(shè)計(jì)）人: 宋柏森;許顯月
• 申請(qǐng)（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號(hào): G06F11/20
• 分類號(hào): G06F11/20;G06F11/30
• 代理公司: 廣東廣和律師事務(wù)所 44298
• 代理人: 吳彬

本發(fā)明公開了一種分布式文件系統(tǒng)容災(zāi)配置方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該方法包括：獲取分布式文件系統(tǒng)中對(duì)象存儲(chǔ)設(shè)備節(jié)點(diǎn)所在的多個(gè)硬盤的性能；根據(jù)多個(gè)硬盤的性能，將多個(gè)硬盤劃分為多個(gè)性能容器；根據(jù)預(yù)設(shè)的容災(zāi)域，將多個(gè)性能容器劃分為一個(gè)或多個(gè)容災(zāi)容器并生成相應(yīng)的容災(zāi)規(guī)則；根據(jù)一個(gè)或多個(gè)容災(zāi)容器和相應(yīng)的容災(zāi)規(guī)則生成拓?fù)湫畔?；將拓?fù)湫畔l(fā)送到分布式文件系統(tǒng)的集群中。根據(jù)本發(fā)明的技術(shù)方案，按照性能將硬盤劃分為多個(gè)性能容器，考慮了硬盤性能，提升了數(shù)據(jù)安全性；再按照用戶劃分的容災(zāi)區(qū)域，以性能容器為基礎(chǔ)進(jìn)一步劃分容災(zāi)容器和容災(zāi)規(guī)則，并生成拓?fù)湫畔l(fā)放到集群中，容災(zāi)配置符合用戶的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種分布式文件系統(tǒng)容災(zāi)配置方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

CEPH(分布式文件系統(tǒng))是由美國紅帽公司開源的一款分布式海量存儲(chǔ)系統(tǒng)，其理論上沒有上限的存儲(chǔ)容量限制。CEPH對(duì)外分布提供塊、文件、對(duì)象三種存儲(chǔ)方式，是當(dāng)前非?；钴S的分布式存儲(chǔ)系統(tǒng)。

CEPH區(qū)別于傳統(tǒng)的存儲(chǔ)系統(tǒng)是提出了基于CRUSH算法(一個(gè)偽隨機(jī)數(shù)據(jù)分布算法)進(jìn)行數(shù)據(jù)分布的策略，而CRUSH算法是一種去中心化的算法。傳統(tǒng)的存儲(chǔ)系統(tǒng)需要元數(shù)據(jù)服務(wù)器來查找數(shù)據(jù)的存儲(chǔ)位置，元數(shù)據(jù)服務(wù)器的存在導(dǎo)致容易出現(xiàn)熱點(diǎn)和單點(diǎn)故障以及性能的瓶頸。而CEPH通過CRUSH算法只需要在客戶端進(jìn)行計(jì)算，就可以知道數(shù)據(jù)的存儲(chǔ)方向，避免了熱點(diǎn)和單點(diǎn)故障，并且具有較高的性能。CEPH的CRUSH算法是通過CRUSH MAP(拓?fù)?進(jìn)行控制的，CEPH部署完成后，會(huì)默認(rèn)生成一個(gè)CRUSH MAP。用戶如果有自己的需求可以通過手動(dòng)編輯CRUSH MAP自己定義CRUSH MAP。CEPH中的CRUSH MAP類似一種物理拓?fù)鋱D的描述，CRUSH算法通過分析CRUSH MAP可以完成數(shù)據(jù)分布的計(jì)算。

目前CEPH的CRUSH MAP的生成，需要用戶對(duì)CRUSH算法比較熟悉，并且要求對(duì)CRUSHMAP的一些概念都要理解和熟悉，并且熟練的掌握一些CEPH相關(guān)的工具的使用和命令，對(duì)用戶要求比較高。并且都是命令行的交互的操作方式，對(duì)于商用和生產(chǎn)環(huán)境的使用非常不方便。與此同時(shí)CEPH默認(rèn)生成的CRUSH規(guī)則，如圖1所示只是基于主機(jī)級(jí)別的容災(zāi)，并沒有考慮到實(shí)際的物理的組網(wǎng)和容災(zāi)的情況，尤其是對(duì)于不同性能的硬盤存儲(chǔ)服務(wù)器組成的集群，比如一個(gè)大的集群中，有上百臺(tái)存儲(chǔ)服務(wù)器，不同的存儲(chǔ)服務(wù)器的硬盤的性能可能不同，分別有經(jīng)濟(jì)硬盤HDD(機(jī)械硬盤)的服務(wù)器，以及高性能的SSD(固態(tài)硬盤)的硬盤的存儲(chǔ)服務(wù)器。如果使用默認(rèn)的CEPH的CRUSH存儲(chǔ)規(guī)則，那么就不會(huì)考慮到實(shí)際的容災(zāi)情況，對(duì)于數(shù)據(jù)的安全性使沒有保障的，并且不能區(qū)分不同性能的硬盤，進(jìn)而有性能的損耗。如果要想實(shí)現(xiàn)不同性能的存儲(chǔ)池和容災(zāi)域的劃分，需要用戶手動(dòng)修改CRUSH MAP，但是對(duì)于一個(gè)由上百個(gè)甚至上千個(gè)存儲(chǔ)服務(wù)器組成的大集群，管理員需要登錄每一臺(tái)機(jī)器，并查看每一個(gè)塊盤的性能，之后手動(dòng)編輯CRUSH MAP，這不僅是一種費(fèi)時(shí)費(fèi)力的工作，并且很容易出錯(cuò)，后續(xù)的升級(jí)和維護(hù)都非常麻煩。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提出一種分布式文件系統(tǒng)容災(zāi)配置方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，旨在自動(dòng)根據(jù)分布式文件系統(tǒng)的容災(zāi)配置，使得容災(zāi)配置符合用戶的容災(zāi)需求，且避免發(fā)生性能的損耗。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種分布式文件系統(tǒng)容災(zāi)配置方法，包括以下步驟：獲取分布式文件系統(tǒng)中對(duì)象存儲(chǔ)設(shè)備節(jié)點(diǎn)所在的多個(gè)硬盤的性能；根據(jù)所述多個(gè)硬盤的性能，將所述多個(gè)硬盤劃分為多個(gè)性能容器；根據(jù)預(yù)設(shè)的容災(zāi)域，將所述多個(gè)性能容器劃分為一個(gè)或多個(gè)容災(zāi)容器并生成相應(yīng)的容災(zāi)規(guī)則；根據(jù)所述一個(gè)或多個(gè)容災(zāi)容器和相應(yīng)的容災(zāi)規(guī)則生成拓?fù)湫畔ⅲ粚⑺鐾負(fù)湫畔l(fā)送到所述分布式文件系統(tǒng)的集群中。

可選地，前述的分布式文件系統(tǒng)容災(zāi)配置方法，所述根據(jù)所述多個(gè)硬盤的性能，將所述多個(gè)硬盤劃分為多個(gè)性能容器，具體包括：根據(jù)所述多個(gè)硬盤是否為機(jī)械硬盤或固態(tài)硬盤，確定所述多個(gè)硬盤的性能。