[發(fā)明專利]一種預(yù)防集群節(jié)點間文件腦裂的方法及計算機可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011000947.4
• 申請日: 2020-09-22
• 公開（公告）號: CN112181901A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計）人: 張軍
• 申請（專利權(quán)）人: 華云數(shù)據(jù)控股集團有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182;G06F16/23
• 代理公司: 蘇州友佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32351
• 代理人: 儲振

本發(fā)明提供了一種預(yù)防集群節(jié)點間文件腦裂的方法及計算機可讀介質(zhì)，該方法包括運行于至少配置兩個作為服務(wù)端的節(jié)點中的集群中，在向任意一個節(jié)點執(zhí)行文件操作時，僅對待操作文件的片段添加分布式鎖；根據(jù)文件操作所對應(yīng)的文件屬性值和/或節(jié)點間的心跳檢測結(jié)果確定文件操作是否成功；將文件操作失敗所對應(yīng)的待操作文件的片段參比源文件執(zhí)行修復(fù)。通過本發(fā)明，提高了由客戶端向服務(wù)端執(zhí)行文件操作時確保各個服務(wù)端的數(shù)據(jù)一致性，有效地避免了集群節(jié)點間發(fā)生文件腦裂，并提高了存儲系統(tǒng)及其基于該存儲系統(tǒng)的計算機集群的可靠性與對待修復(fù)文件所執(zhí)行的修復(fù)操作的穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，尤其涉及一種預(yù)防集群節(jié)點間文件腦裂的方法及計算機可讀介質(zhì)。

背景技術(shù)

GlusterFS(Gluster File System)是開源的分布式文件系統(tǒng)，屬于軟件定義存儲，采用堆棧式設(shè)計，具有強大的橫向擴展能力，可擴展至數(shù)PB(PetaByte)數(shù)據(jù)及數(shù)千個客戶端。GlusterFS分布式文件系統(tǒng)將單一的物理存儲資源通過TCP/IP或InfiniBand RDMA聚集在一起，使用統(tǒng)一的命名空間(Namespace)對數(shù)據(jù)進行管理。

文件腦裂是指文件的副本在計算機集群不同節(jié)點上的數(shù)據(jù)不一致，從而導(dǎo)致客戶端在對文件進行讀寫時，不能識別哪個節(jié)點上的副本是正確的數(shù)據(jù)，這時客戶端會認為這個文件為腦裂文件，出現(xiàn)數(shù)據(jù)損壞，不能進行正常的讀寫，這種現(xiàn)象稱為文件腦裂。文件腦裂出現(xiàn)的原因主要是客戶端在寫數(shù)據(jù)到不同副本上時，因網(wǎng)絡(luò)或GlusterFS進程出現(xiàn)問題導(dǎo)致在一個服務(wù)端寫數(shù)據(jù)成功，實例該成功服務(wù)端為A，在另一個服務(wù)端寫數(shù)據(jù)失敗，實例該失敗服務(wù)端為B。在文件未修復(fù)完成的情況下，數(shù)據(jù)再次寫到服務(wù)端A時因網(wǎng)絡(luò)或GlusterFS進程出現(xiàn)問題導(dǎo)致寫失敗，而在B服務(wù)端寫數(shù)據(jù)是成功的。當(dāng)A服務(wù)端與B服務(wù)端再次啟動后，就出現(xiàn)數(shù)據(jù)在A服務(wù)端與B服務(wù)端不一致的問題，出現(xiàn)數(shù)據(jù)紊亂及不同步的現(xiàn)象，不能對該文件進行讀寫。

申請人指出在現(xiàn)有技術(shù)中，雖然可以采用可通過設(shè)置quorum機制來避免文件腦裂的發(fā)生，即若文件的副本數(shù)是兩個，可以設(shè)置quorum比例為50％以上，當(dāng)計算機集群中有一個節(jié)點不在線時，會導(dǎo)致計算機集群是不可訪問的，以避免腦裂文件的形成。但是通過設(shè)置quorum比例可以在一定情況下避免文件腦裂的形成，如雙副本的計算機集群，可以設(shè)置quorum比例在50％以上，這樣當(dāng)雙副本的一個節(jié)點不在線(或者不可用)時，禁止對文件進行讀寫。這種方式雖然避免了文件腦裂的形成，但是又在一定程度上降低了整個計算機集群的可用性，如在讀寫過程中，剛開始兩個節(jié)點均是可連接的，在寫操作過程中突然有一個節(jié)點斷開，此時整個計算機集群禁止讀寫，從而降低了該計算機集群的可用性；而且在網(wǎng)絡(luò)容易出現(xiàn)瞬間斷開的環(huán)境中，極大地降低了整個計算機集群的可操作性，由此導(dǎo)致用戶體驗較差。

有鑒于此，有必要對現(xiàn)有技術(shù)中的如何預(yù)防文件發(fā)生腦裂的技術(shù)方案予以改進，以解決上述問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于揭示一種預(yù)防集群節(jié)點間文件腦裂的方法及計算機可讀介質(zhì)，用以防止由客戶端向服務(wù)端執(zhí)行文件操作時確保各個服務(wù)端的數(shù)據(jù)一致性，避免集群節(jié)點間發(fā)生文件腦裂，以提高存儲系統(tǒng)及其基于該存儲系統(tǒng)的計算機集群的可靠性與對待修復(fù)文件所執(zhí)行的修復(fù)操作的穩(wěn)定性。

為實現(xiàn)上述目的之一，本申請首先提供了一種預(yù)防集群節(jié)點間文件腦裂的方法，包括：

運行于至少配置兩個作為服務(wù)端的節(jié)點中的集群中，在向任意一個節(jié)點執(zhí)行文件操作時，僅對待操作文件的片段添加分布式鎖；

根據(jù)文件操作所對應(yīng)的文件屬性值和/或節(jié)點間的心跳檢測結(jié)果確定文件操作是否成功；

將文件操作失敗所對應(yīng)的待操作文件的片段參比源文件執(zhí)行修復(fù)。