[發(fā)明專利]數(shù)據(jù)存儲(chǔ)系統(tǒng)的運(yùn)維方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201811402310.0
• 申請(qǐng)日: 2018-11-22
• 公開（公告）號(hào): CN111209138A
• 公開（公告）日: 2020-05-29
• 發(fā)明（設(shè)計(jì)）人: 俞毅
• 申請(qǐng)（專利權(quán)）人: 浙江宇視科技有限公司
• 主分類號(hào): G06F11/14
• 分類號(hào): G06F11/14;G06F16/22;G06F16/27
• 代理公司: 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 何明倫

本公開提出一種數(shù)據(jù)存儲(chǔ)系統(tǒng)的運(yùn)維方法及裝置，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域。所述方法包括：對(duì)區(qū)域塊服務(wù)器節(jié)點(diǎn)中區(qū)域塊所對(duì)應(yīng)的區(qū)域塊信息文件進(jìn)行修復(fù)，得到修復(fù)后的區(qū)域塊信息文件；基于所述修復(fù)后的區(qū)域塊信息文件，對(duì)元數(shù)據(jù)表中與所述區(qū)域塊對(duì)應(yīng)的元數(shù)據(jù)進(jìn)行修復(fù)，得到修復(fù)后的元數(shù)據(jù)表；基于所述修復(fù)后的元數(shù)據(jù)表，對(duì)所述區(qū)域塊的掛載狀態(tài)進(jìn)行修復(fù)。本公開能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)的自動(dòng)化運(yùn)維，提高運(yùn)維效率和可靠性，降低運(yùn)維成本。

技術(shù)領(lǐng)域

本公開涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)存儲(chǔ)系統(tǒng)的運(yùn)維方法及裝置。

背景技術(shù)

隨著數(shù)據(jù)處理技術(shù)的發(fā)展，分布式的數(shù)據(jù)存儲(chǔ)系統(tǒng)的應(yīng)用日益廣泛。其中，Hbase(Hadoop database)是一種建立在HDFS(Hadoop Distributed File System，分布式文件系統(tǒng))上、面向列的開源數(shù)據(jù)存儲(chǔ)系統(tǒng)，并以其高可靠性、高性能、可伸縮的優(yōu)點(diǎn)，逐漸受到了用戶的重視。

Hbase包括協(xié)調(diào)服務(wù)節(jié)點(diǎn)(zookeeper)和區(qū)域塊服務(wù)器節(jié)點(diǎn)(Region Server)。Hbase中的數(shù)據(jù)以數(shù)據(jù)表(Table)的形式存儲(chǔ)，各數(shù)據(jù)表在行的方向上被分割為至少一個(gè)區(qū)域塊(Region)，各區(qū)域塊設(shè)置在區(qū)域塊服務(wù)器節(jié)點(diǎn)上。另外，該Hbase中還可以生成該區(qū)域塊的元數(shù)據(jù)。在該Hbase運(yùn)行的過程中，受網(wǎng)絡(luò)、讀寫壓力等多種環(huán)境因素的影響，可能會(huì)出現(xiàn)區(qū)域塊服務(wù)器節(jié)點(diǎn)中包括區(qū)域塊與該區(qū)域塊對(duì)應(yīng)的元數(shù)據(jù)不一致的問題，從而導(dǎo)致難以向Hbased讀/寫數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)系統(tǒng)的可靠性較低。

現(xiàn)有技術(shù)中，可以由用戶在發(fā)現(xiàn)Hbase中存在某個(gè)區(qū)域塊和該區(qū)域塊的元數(shù)據(jù)不一致的問題時(shí)，手動(dòng)執(zhí)行Hbase提供的運(yùn)維指令，對(duì)該問題進(jìn)行修復(fù)。但需要依賴人工對(duì)Hbase進(jìn)行運(yùn)維，不僅效率低下，運(yùn)維成本較高，而且由于現(xiàn)有的Hbase所提供的運(yùn)維指令較為復(fù)雜，需要資深的運(yùn)維人員選擇相應(yīng)的運(yùn)維指令來對(duì)Hbase進(jìn)行運(yùn)維，從而導(dǎo)致對(duì)Hbase進(jìn)行運(yùn)維的難度較大，運(yùn)維的成功率也難以保證，成本也較高。

發(fā)明內(nèi)容

本公開實(shí)施例的目的在于提供一種數(shù)據(jù)存儲(chǔ)系統(tǒng)的運(yùn)維方法及裝置，以實(shí)現(xiàn)對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)的自動(dòng)化運(yùn)維。

為了實(shí)現(xiàn)上述目的，本公開實(shí)施例采用的技術(shù)方案如下：

第一方面，本公開實(shí)施例提出一種數(shù)據(jù)存儲(chǔ)系統(tǒng)的運(yùn)維方法，所述方法包括：

對(duì)區(qū)域塊服務(wù)器節(jié)點(diǎn)中區(qū)域塊所對(duì)應(yīng)的區(qū)域塊信息文件進(jìn)行修復(fù)，得到修復(fù)后的區(qū)域塊信息文件；

基于所述修復(fù)后的區(qū)域塊信息文件，對(duì)元數(shù)據(jù)表中與所述區(qū)域塊對(duì)應(yīng)的元數(shù)據(jù)進(jìn)行修復(fù)，得到修復(fù)后的元數(shù)據(jù)表；

基于所述修復(fù)后的元數(shù)據(jù)表，對(duì)所述區(qū)域塊的掛載狀態(tài)進(jìn)行修復(fù)。

第二方面，本公開實(shí)施例還提出一種數(shù)據(jù)存儲(chǔ)系統(tǒng)的運(yùn)維裝置，所述裝置包括：

第一修復(fù)模塊，用于對(duì)區(qū)域塊服務(wù)器節(jié)點(diǎn)中區(qū)域塊所對(duì)應(yīng)的區(qū)域塊信息文件進(jìn)行修復(fù)，得到修復(fù)后的區(qū)域塊信息文件；

第二修復(fù)模塊，用于基于所述修復(fù)后的區(qū)域塊信息文件，對(duì)元數(shù)據(jù)表中與所述區(qū)域塊對(duì)應(yīng)的元數(shù)據(jù)進(jìn)行修復(fù)，得到修復(fù)后的元數(shù)據(jù)表；

第三修復(fù)模塊，用于基于所述修復(fù)后的元數(shù)據(jù)表，對(duì)所述區(qū)域塊的掛載狀態(tài)進(jìn)行修復(fù)。

第三方面，本公開實(shí)施例還提出一種電子設(shè)備，包括存儲(chǔ)有計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和處理器，所述計(jì)算機(jī)程序被所述處理器讀取并運(yùn)行時(shí)，實(shí)現(xiàn)上述第一方面所述的方法。

第四方面，本公開實(shí)施例還提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器讀取并運(yùn)行時(shí)，實(shí)現(xiàn)上述第一方面所述的方法。

相對(duì)現(xiàn)有技術(shù)，本公開實(shí)施例具有以下有益效果：