[發(fā)明專(zhuān)利]一種分布式存儲(chǔ)系統(tǒng)的故障檢測(cè)方法、裝置、設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911207102.X
• 申請(qǐng)日: 2019-11-29
• 公開(kāi)（公告）號(hào): CN111104283B
• 公開(kāi)（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 甄天橋;孟祥瑞
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類(lèi)號(hào): G06F11/30
• 分類(lèi)號(hào): G06F11/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 郄晨芳

本申請(qǐng)公開(kāi)了一種分布式存儲(chǔ)系統(tǒng)的故障檢測(cè)方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，方法包括：根據(jù)分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)池類(lèi)型，利用對(duì)應(yīng)的計(jì)算規(guī)則確定出故障門(mén)限值；獲取分布式存儲(chǔ)系統(tǒng)中各節(jié)點(diǎn)分別被上報(bào)為異常狀態(tài)的上報(bào)次數(shù)；根據(jù)各上報(bào)次數(shù)和故障門(mén)限值，確定出分布式存儲(chǔ)系統(tǒng)的故障情況。可見(jiàn)，本方法中的故障門(mén)限值是根據(jù)存儲(chǔ)系統(tǒng)的存儲(chǔ)池類(lèi)型，利用對(duì)應(yīng)的計(jì)算規(guī)則確定出來(lái)的，因此，根據(jù)各上報(bào)次數(shù)和故障門(mén)限值，確定出分布式存儲(chǔ)系統(tǒng)的故障情況，能夠避免后端網(wǎng)絡(luò)出現(xiàn)故障的節(jié)點(diǎn)誤報(bào)其他節(jié)點(diǎn)異常導(dǎo)致的故障誤判，提高對(duì)分布式存儲(chǔ)系統(tǒng)的故障檢測(cè)的準(zhǔn)確度，相對(duì)保障整個(gè)分布式存儲(chǔ)系統(tǒng)的正常使用。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲(chǔ)系統(tǒng)領(lǐng)域，特別涉及一種分布式存儲(chǔ)系統(tǒng)的故障檢測(cè)方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在分布式存儲(chǔ)系統(tǒng)中，通過(guò)在每個(gè)節(jié)點(diǎn)上設(shè)置守護(hù)進(jìn)程(或服務(wù))，用以提供對(duì)存儲(chǔ)池中的硬盤(pán)的訪問(wèn)和監(jiān)控等；并且通過(guò)不同節(jié)點(diǎn)間的守護(hù)進(jìn)程(或服務(wù))間的心跳消息，來(lái)檢測(cè)對(duì)端的守護(hù)進(jìn)程(或服務(wù))是否正常。

對(duì)每個(gè)節(jié)點(diǎn)而言，包括前端網(wǎng)絡(luò)和后端網(wǎng)絡(luò)，前端網(wǎng)絡(luò)供客戶(hù)業(yè)務(wù)使用，后端網(wǎng)絡(luò)供集群內(nèi)消息通信和數(shù)據(jù)交互；為了探測(cè)網(wǎng)絡(luò)的連通性，節(jié)點(diǎn)間的守護(hù)進(jìn)程會(huì)同時(shí)在前端網(wǎng)絡(luò)和后端網(wǎng)絡(luò)進(jìn)行心跳檢測(cè)；各節(jié)點(diǎn)通過(guò)前端網(wǎng)絡(luò)與集群管理進(jìn)程進(jìn)行消息交互。在這種情況下，如果個(gè)別節(jié)點(diǎn)的后端網(wǎng)絡(luò)出現(xiàn)故障(實(shí)際故障節(jié)點(diǎn))，導(dǎo)致其后端網(wǎng)絡(luò)無(wú)法和其它節(jié)點(diǎn)通信，則其它節(jié)點(diǎn)會(huì)向集群管理進(jìn)程上報(bào)這些實(shí)際故障節(jié)點(diǎn)為異常狀態(tài)；這些實(shí)際故障節(jié)點(diǎn)也會(huì)由于無(wú)法與其他節(jié)點(diǎn)通信，而通過(guò)自身的前端網(wǎng)絡(luò)上報(bào)其它節(jié)點(diǎn)為異常狀態(tài)。

現(xiàn)有技術(shù)中，通過(guò)預(yù)先設(shè)置一個(gè)固定的故障門(mén)限值，然后在判斷出某個(gè)節(jié)點(diǎn)被上報(bào)為異常狀態(tài)的上報(bào)次數(shù)超過(guò)該故障門(mén)限值時(shí)，則判定該節(jié)點(diǎn)為故障節(jié)點(diǎn)。但是，這樣的方法將存在一個(gè)問(wèn)題：比如，假設(shè)當(dāng)前的分布式存儲(chǔ)系統(tǒng)中有兩個(gè)實(shí)際故障節(jié)點(diǎn)，其它節(jié)點(diǎn)會(huì)上報(bào)這兩個(gè)實(shí)際故障節(jié)點(diǎn)異常，這兩個(gè)實(shí)際故障節(jié)點(diǎn)也會(huì)上報(bào)其它所有節(jié)點(diǎn)異常；這樣一來(lái)，其他每個(gè)節(jié)點(diǎn)都至少被這兩個(gè)實(shí)際故障節(jié)點(diǎn)上報(bào)異常，而由于其他每個(gè)節(jié)點(diǎn)被上報(bào)異常的次數(shù)均超過(guò)預(yù)設(shè)門(mén)限值，因此集群管理進(jìn)程就會(huì)把所有節(jié)點(diǎn)置為故障節(jié)點(diǎn)，從而導(dǎo)致整個(gè)集群不可用。而實(shí)際上，只有兩個(gè)實(shí)際故障節(jié)點(diǎn)，集群可能還是可用的。可見(jiàn)，現(xiàn)有技術(shù)中的對(duì)分布式存儲(chǔ)系統(tǒng)的故障檢測(cè)方法，在節(jié)點(diǎn)的后端網(wǎng)絡(luò)發(fā)生故障時(shí)，將存在誤報(bào)異常的情況，從而影響整個(gè)分布式存儲(chǔ)系統(tǒng)的正常使用。

因此，如何提高對(duì)分布式存儲(chǔ)系統(tǒng)的故障檢測(cè)的準(zhǔn)確度，相對(duì)保障分布式存儲(chǔ)系統(tǒng)的正常使用，是本領(lǐng)域技術(shù)人員目前需要解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種分布式存儲(chǔ)系統(tǒng)的故障檢測(cè)方法，能夠提高對(duì)分布式存儲(chǔ)系統(tǒng)的故障檢測(cè)的準(zhǔn)確度，相對(duì)保障分布式存儲(chǔ)系統(tǒng)的正常使用；本發(fā)明的另一目的是提供一種分布式存儲(chǔ)系統(tǒng)的故障檢測(cè)裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，均具有上述有益效果。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種分布式存儲(chǔ)系統(tǒng)的故障檢測(cè)方法，包括：

根據(jù)分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)池類(lèi)型，利用對(duì)應(yīng)的計(jì)算規(guī)則確定出故障門(mén)限值；

獲取所述分布式存儲(chǔ)系統(tǒng)中各節(jié)點(diǎn)分別被上報(bào)為異常狀態(tài)的上報(bào)次數(shù)；

根據(jù)各所述上報(bào)次數(shù)和所述故障門(mén)限值，確定出所述分布式存儲(chǔ)系統(tǒng)的故障情況。

優(yōu)選地，所述根據(jù)分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)池類(lèi)型，利用對(duì)應(yīng)的計(jì)算規(guī)則確定出故障門(mén)限值的過(guò)程，具體包括：

若所述分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)池為副本類(lèi)型，則獲取所述存儲(chǔ)池中屬于同一歸置組的硬盤(pán)的第一數(shù)量；

將大于所述第一數(shù)量一半的值設(shè)置為所述故障門(mén)限值。

優(yōu)選地，所述根據(jù)分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)池類(lèi)型，利用對(duì)應(yīng)的計(jì)算規(guī)則確定出故障門(mén)限值的過(guò)程，具體包括：

若所述分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)池為糾刪類(lèi)型，則獲取所述存儲(chǔ)池中根據(jù)數(shù)據(jù)分塊計(jì)算出的冗余數(shù)據(jù)的第二數(shù)量；