[發(fā)明專利]用于分布式文件系統(tǒng)中磁盤檢測(cè)處理的方法和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201610023856.X
• 申請(qǐng)日: 2016-01-14
• 公開(kāi)（公告）號(hào): CN106970851A
• 公開(kāi)（公告）日: 2017-07-21
• 發(fā)明（設(shè)計(jì)）人: 吳冬政;董乘宇;朱家稷;張海勇;曹鋒;王勇;姚文輝;吳均平;吳洋;董元元;陸靖
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F11/07
• 分類號(hào): G06F11/07
• 代理公司: 上海百一領(lǐng)御專利代理事務(wù)所(普通合伙)31243
• 代理人: 陳貞健,周建華

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種用于分布式文件系統(tǒng)中磁盤檢測(cè)處理的技術(shù)。

背景技術(shù)

在大規(guī)模分布式存儲(chǔ)系統(tǒng)中，單臺(tái)數(shù)據(jù)存儲(chǔ)服務(wù)器會(huì)配有很多塊硬盤，在某些硬盤硬件故障的情況下，會(huì)產(chǎn)生磁盤掛起輸入輸出(IO)操作的現(xiàn)象，表現(xiàn)是執(zhí)行輸入輸出操作的線程處于不可中斷的睡眠狀態(tài)(D狀態(tài))，此時(shí)線程不響應(yīng)任何操作會(huì)造成數(shù)據(jù)存儲(chǔ)服務(wù)進(jìn)程中的某些線程掛起在磁盤操作上，無(wú)法正常執(zhí)行，這通常會(huì)造成整個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)進(jìn)程失去響應(yīng)，無(wú)法提供數(shù)據(jù)讀寫服務(wù)。一旦出現(xiàn)這種磁盤故障導(dǎo)致的D狀態(tài)，除非機(jī)器重啟才能解除D狀態(tài)。

現(xiàn)有的分布式存儲(chǔ)系統(tǒng)如HDFS，通常是不處理這種異常，完全靠運(yùn)維人員下線磁盤重啟機(jī)器恢復(fù)服務(wù)；由于數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)配有多塊數(shù)據(jù)盤，單塊磁盤掛起就會(huì)導(dǎo)致整個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)無(wú)法提供服務(wù)，導(dǎo)致分布式存儲(chǔ)系統(tǒng)中其他的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上產(chǎn)生大量的復(fù)制數(shù)據(jù)的網(wǎng)絡(luò)流量和磁盤讀寫操作。依靠運(yùn)維的流程去發(fā)現(xiàn)并重啟機(jī)器，具有較長(zhǎng)的響應(yīng)周期。

也有一些系統(tǒng)采用定制硬件的方法，來(lái)解除磁盤掛起的狀態(tài)，使存儲(chǔ)服務(wù)節(jié)點(diǎn)進(jìn)程本身不需要額外處理磁盤掛起的問(wèn)題。定制硬件要投入的昂貴的硬件研發(fā)成本，還有批量生產(chǎn)上的制約，和標(biāo)準(zhǔn)接口的兼容性問(wèn)題，只有極少數(shù)具有實(shí)力的公司能夠?qū)嵤痪哂衅毡檫m用性。

發(fā)明內(nèi)容

本申請(qǐng)的目的是提供一種用于分布式文件系統(tǒng)中磁盤檢測(cè)處理的方法與設(shè)備，以解決檢測(cè)磁盤掛起故障并能規(guī)避磁盤掛起帶來(lái)的不良影響。

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種用于分布式文件系統(tǒng)中磁盤檢測(cè)處理的方法，包括：

創(chuàng)建磁盤檢測(cè)守護(hù)線程，并利用所述磁盤檢測(cè)守護(hù)線程創(chuàng)建與磁盤對(duì)應(yīng)的一個(gè)或多個(gè)磁盤檢測(cè)線程；

利用所述磁盤檢測(cè)線程執(zhí)行針對(duì)所述磁盤的輸入輸出操作，并記錄所述輸入輸出操作的操作開(kāi)始時(shí)間直至相應(yīng)所述輸入輸出操作結(jié)束；

利用所述磁盤檢測(cè)守護(hù)線程從所述磁盤檢測(cè)線程獲取所述操作開(kāi)始時(shí)間，并比較所述操作開(kāi)始時(shí)間與當(dāng)前時(shí)間以獲取相應(yīng)所述輸入輸出操作的操作持續(xù)時(shí)間；

當(dāng)所述操作持續(xù)時(shí)間超過(guò)第一時(shí)間閾值，則將相應(yīng)所述輸入輸出操作所對(duì)應(yīng)的磁盤的狀態(tài)標(biāo)記為掛起狀態(tài)。

根據(jù)本申請(qǐng)的另一方面，還提供了一種用于分布式文件系統(tǒng)中磁盤檢測(cè)處理的設(shè)備，包括：

創(chuàng)建裝置，用于創(chuàng)建磁盤檢測(cè)守護(hù)線程，并利用所述磁盤檢測(cè)守護(hù)線程創(chuàng)建與磁盤對(duì)應(yīng)的一個(gè)或多個(gè)磁盤檢測(cè)線程；

執(zhí)行裝置，用于利用所述磁盤檢測(cè)線程執(zhí)行針對(duì)所述磁盤的輸入輸出操作，并記錄所述輸入輸出操作的操作開(kāi)始時(shí)間直至相應(yīng)所述輸入輸出操作結(jié)束；

比較裝置，用于利用所述磁盤檢測(cè)守護(hù)線程從所述磁盤檢測(cè)線程獲取所述操作開(kāi)始時(shí)間，并比較所述操作開(kāi)始時(shí)間與當(dāng)前時(shí)間以獲取相應(yīng)所述輸入輸出操作的操作持續(xù)時(shí)間；

標(biāo)記裝置，用于當(dāng)所述操作持續(xù)時(shí)間超過(guò)第一時(shí)間閾值，則將相應(yīng)所述輸入輸出操作所對(duì)應(yīng)的磁盤的狀態(tài)標(biāo)記為掛起狀態(tài)。

與現(xiàn)有技術(shù)相比，根據(jù)本申請(qǐng)實(shí)施例的方法和設(shè)備，通過(guò)創(chuàng)建磁盤檢測(cè)守護(hù)線程并利用所述磁盤檢測(cè)守護(hù)線程創(chuàng)建與磁盤對(duì)應(yīng)的一個(gè)或多個(gè)磁盤檢測(cè)線程；所述磁盤檢測(cè)線程周期性執(zhí)行一些試探性的輸入輸出操作來(lái)檢測(cè)磁盤是否可以正常訪問(wèn)，在每次執(zhí)行試探性輸入輸出操作之前，會(huì)記錄一個(gè)操作開(kāi)始時(shí)間，試探性輸入輸出操作結(jié)束之后再把操作開(kāi)始時(shí)間清除；利用所述磁盤檢測(cè)守護(hù)線程從所述磁盤檢測(cè)線程獲取所述操作開(kāi)始時(shí)間，并比較所述操作開(kāi)始時(shí)間與當(dāng)前時(shí)間以獲取相應(yīng)所述輸入輸出操作的操作持續(xù)時(shí)間；當(dāng)所述操作持續(xù)時(shí)間超過(guò)第一時(shí)間閾值，則將相應(yīng)所述輸入輸出操作所 對(duì)應(yīng)的磁盤的狀態(tài)標(biāo)記為掛起狀態(tài)。進(jìn)一步地，在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)過(guò)程中，為每一所述磁盤對(duì)應(yīng)創(chuàng)建一用于調(diào)度輸入輸出操作請(qǐng)求的輸入輸出請(qǐng)求隊(duì)列和一用于執(zhí)行所述輸入輸出操作請(qǐng)求的輸入輸出處理線程。從而實(shí)現(xiàn)當(dāng)某塊磁盤出現(xiàn)輸入輸出操作掛起問(wèn)題之后，能夠檢測(cè)到此問(wèn)題，并且只有和故障磁盤相關(guān)的線程才會(huì)被掛起，其余線程不受影響，并在后續(xù)操作中避免向故障磁盤上發(fā)起新的輸入輸出操作，使得數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)能夠屏蔽這塊故障磁盤，繼續(xù)提供服務(wù)。

附圖說(shuō)明

通過(guò)閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本申請(qǐng)的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯：

圖1示出根據(jù)本申請(qǐng)一個(gè)方面的一種用于分布式文件系統(tǒng)中磁盤檢測(cè)處理的方法的流程示意圖；

圖2示出根據(jù)本申請(qǐng)一個(gè)方面的一種用于分布式文件系統(tǒng)中磁盤檢測(cè)處理的一個(gè)優(yōu)選實(shí)施例的示意圖；