[發(fā)明專利]一種分布式系統(tǒng)數(shù)據(jù)同步的方法、裝置及可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201711352648.5
• 申請日: 2017-12-15
• 公開（公告）號: CN108021452A
• 公開（公告）日: 2018-05-11
• 發(fā)明（設(shè)計）人: 岳遠方
• 申請（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

本發(fā)明公開了一種分布式系統(tǒng)數(shù)據(jù)同步的方法，包括：獲取各節(jié)點中的各數(shù)據(jù)存儲單元占用的內(nèi)存值；判斷各所述內(nèi)存值是否大于或等于第一閾值；如果是，則中斷所述大于或等于所述第一閾值的內(nèi)存值對應(yīng)的數(shù)據(jù)存儲單元的進程。本發(fā)明提供的方法通過在分布式系統(tǒng)進行數(shù)據(jù)同步時將占用內(nèi)存過大的數(shù)據(jù)存儲單元的進程暫時中斷，可以使分布式系統(tǒng)在數(shù)據(jù)同步時的運行更加流暢，不會因為一些節(jié)點的數(shù)據(jù)存儲單元之間的數(shù)據(jù)同步占用了較多內(nèi)存而造成系統(tǒng)崩潰，不僅適用于分布式系統(tǒng)在正常運行時，存在于各個節(jié)點的數(shù)據(jù)與冗余數(shù)據(jù)之間的數(shù)據(jù)同步，在分布式系統(tǒng)出現(xiàn)故障、需要大規(guī)模數(shù)據(jù)同步時更具優(yōu)勢。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲系統(tǒng)領(lǐng)域，特別是涉及一種分布式系統(tǒng)數(shù)據(jù)同步的方法、裝置及計算機可讀存儲介質(zhì)。

背景技術(shù)

大規(guī)模分布式系統(tǒng)中，各個節(jié)點上都存在多個數(shù)據(jù)存儲單元(OSD)，一般情況下是每個磁盤為一個數(shù)據(jù)存儲單元，以36盤位的機器為例，單個節(jié)點上就存在36個數(shù)據(jù)存儲單元。而分布式系統(tǒng)的真實數(shù)據(jù)，均存在于這些數(shù)據(jù)存儲單元上。分布式系統(tǒng)的存儲特點是每一份數(shù)據(jù)都以多重備份的形式存放于不同節(jié)點的不同的數(shù)據(jù)存儲單元上，為了保證數(shù)據(jù)的一致性，這些數(shù)據(jù)存儲單元之間需要進行極其頻繁與復(fù)雜的通信，每當(dāng)一個數(shù)據(jù)存儲單元上的數(shù)據(jù)發(fā)生變化，均需要與其余數(shù)據(jù)存儲單元進行數(shù)據(jù)的同步、存儲信息的對齊等操作，這些操作會占用大量的系統(tǒng)資源，包括內(nèi)存，CPU等。

大規(guī)模分布式系統(tǒng)在正常運行時，數(shù)據(jù)存儲單元占用的內(nèi)存大約為500M～1G左右，而當(dāng)分布式系統(tǒng)故障時，單一數(shù)據(jù)與冗余數(shù)據(jù)之間的信息變的不再一致，因此需要各單元之間通過頻繁的、長時間的通信和數(shù)據(jù)同步來保持數(shù)據(jù)一致性。此時，由于大量的數(shù)據(jù)同步，每個數(shù)據(jù)存儲單元的占用內(nèi)存從正常的不到1G，緩慢增長，最高可增長至10G左右。以10G為例，每個節(jié)點36個存儲單元，則需要360G的內(nèi)存。然而，正常情況下，是沒有這么多內(nèi)存可供使用的，這會造成各個數(shù)據(jù)存儲單元之間的信息始終無法同步、通信頻繁的中斷，最終導(dǎo)致整個分布式系統(tǒng)無法從故障中恢復(fù)正常。

因此，如何保證分布式系統(tǒng)的故障恢復(fù)不會因為系統(tǒng)資源耗盡而中斷，是本領(lǐng)域技術(shù)人員需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種分布式系統(tǒng)數(shù)據(jù)同步的方法、裝置及計算機可讀存儲介質(zhì)，用于保證分布式系統(tǒng)在故障恢復(fù)時的數(shù)據(jù)同步不會因為系統(tǒng)資源耗盡而中斷。

為解決上述技術(shù)問題，本發(fā)明提供一種分布式系統(tǒng)數(shù)據(jù)同步的方法，包括：

獲取各節(jié)點中的各數(shù)據(jù)存儲單元占用的內(nèi)存值；

判斷各所述內(nèi)存值是否大于或等于第一閾值；

如果是，則中斷所述大于或等于所述第一閾值的內(nèi)存值對應(yīng)的數(shù)據(jù)存儲單元的進程。

可選地，所述第一閾值具體通過以下公式計算得到：

其中，所述Y1為所述第一閾值，所述Q為節(jié)點的最大可用內(nèi)存值，所述a為所述節(jié)點的數(shù)據(jù)存儲單元的數(shù)量。

可選地，還包括：

判斷所述分布式系統(tǒng)整體占用的內(nèi)存值是否小于第二閾值；

如果是，則繼續(xù)所述被中斷進程的數(shù)據(jù)存儲單元的進程。

可選地，所述第二閾值具體通過以下公式計算得到：

Y2＝W×0.9