[發(fā)明專(zhuān)利]一種數(shù)據(jù)下刷方法、裝置、緩存節(jié)點(diǎn)及分布式存儲(chǔ)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911256872.3
• 申請(qǐng)日: 2019-12-10
• 公開(kāi)（公告）號(hào): CN111124292B
• 公開(kāi)（公告）日: 2022-08-19
• 發(fā)明（設(shè)計(jì)）人: 左靜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 李欣;丁蕓

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)下刷方法、裝置、緩存節(jié)點(diǎn)及分布式存儲(chǔ)系統(tǒng)，分布式存儲(chǔ)系統(tǒng)中的緩存節(jié)點(diǎn)獲取自身的當(dāng)前空間使用率以及空間使用率矯正系數(shù)，根據(jù)空間使用率矯正系數(shù)，對(duì)當(dāng)前空間使用率進(jìn)行矯正，得到矯正后的空間使用率，若矯正后的空間使用率超過(guò)預(yù)設(shè)閾值，則下刷緩存節(jié)點(diǎn)本地存儲(chǔ)的數(shù)據(jù)至存儲(chǔ)節(jié)點(diǎn)。矯正的空間使用率超過(guò)預(yù)設(shè)閾值，說(shuō)明如果故障的緩存節(jié)點(diǎn)上的數(shù)據(jù)全部重構(gòu)到未故障的緩存節(jié)點(diǎn)上會(huì)導(dǎo)致未故障的緩存節(jié)點(diǎn)產(chǎn)生數(shù)據(jù)溢出，因此，在數(shù)據(jù)重構(gòu)之前，對(duì)未故障的緩存節(jié)點(diǎn)進(jìn)行數(shù)據(jù)下刷，提前將緩存節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)發(fā)送到存儲(chǔ)節(jié)點(diǎn)，則在數(shù)據(jù)重構(gòu)時(shí)不會(huì)引起未故障的緩存節(jié)點(diǎn)溢出，保證了重構(gòu)業(yè)務(wù)的正常進(jìn)行。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲(chǔ)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)下刷方法、裝置、緩存節(jié)點(diǎn)及分布式存儲(chǔ)系統(tǒng)。

背景技術(shù)

分布式存儲(chǔ)系統(tǒng)包括多個(gè)存儲(chǔ)節(jié)點(diǎn)，可以提供海量數(shù)據(jù)的存儲(chǔ)服務(wù)。傳統(tǒng)的分布式存儲(chǔ)系統(tǒng)中，存儲(chǔ)節(jié)點(diǎn)一般使用SAS(Serial Attached Small Computer SystemInterface，串行連接小型計(jì)算機(jī)系統(tǒng)接口)、SATA(Serial Advanced TechnologyAttachment，一種基于行業(yè)標(biāo)準(zhǔn)的串行硬件驅(qū)動(dòng)器接口)的機(jī)械硬盤(pán)，機(jī)械硬盤(pán)的訪(fǎng)問(wèn)速度較慢，導(dǎo)致分布式存儲(chǔ)系統(tǒng)對(duì)數(shù)據(jù)的讀寫(xiě)速度較慢。

為了解決上述問(wèn)題，在分布式存儲(chǔ)系統(tǒng)中增加緩存節(jié)點(diǎn)(如固態(tài)硬盤(pán))，如圖1所示，緩存節(jié)點(diǎn)用于存儲(chǔ)熱點(diǎn)數(shù)據(jù)、提供高速的I/O(Input/Output，輸入/輸出)服務(wù)，存儲(chǔ)節(jié)點(diǎn)用于存儲(chǔ)非熱點(diǎn)數(shù)據(jù)、提供慢速的I/O服務(wù)。分布式存儲(chǔ)系統(tǒng)客戶(hù)端在接收到數(shù)據(jù)后，會(huì)先將數(shù)據(jù)存儲(chǔ)至緩存節(jié)點(diǎn)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的快速讀寫(xiě)，而當(dāng)緩存節(jié)點(diǎn)的空間使用率達(dá)到一定閾值后(即緩存節(jié)點(diǎn)已經(jīng)存儲(chǔ)大量的數(shù)據(jù)，如果再繼續(xù)存儲(chǔ)更多的數(shù)據(jù)，會(huì)出現(xiàn)數(shù)據(jù)溢出等現(xiàn)象，影響緩存節(jié)點(diǎn)的服務(wù)性能)，此時(shí)，需要將緩存節(jié)點(diǎn)中的數(shù)據(jù)發(fā)送到存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)，釋放緩存節(jié)點(diǎn)的緩存空間，以使緩存空間能夠接收新的數(shù)據(jù)，通常稱(chēng)這個(gè)過(guò)程為數(shù)據(jù)下刷，通過(guò)數(shù)據(jù)下刷使得緩存節(jié)點(diǎn)的空間使用率維持在閾值以下，保證緩存節(jié)點(diǎn)具有較高的服務(wù)性能。

然而，在實(shí)際場(chǎng)景中，緩存節(jié)點(diǎn)可能會(huì)發(fā)生故障，在緩存節(jié)點(diǎn)發(fā)生故障時(shí)，如果沒(méi)有對(duì)故障的緩存節(jié)點(diǎn)進(jìn)行更換，故障的緩存節(jié)點(diǎn)上的數(shù)據(jù)會(huì)自動(dòng)重構(gòu)到剩下未故障的緩存節(jié)點(diǎn)上，如果未故障的緩存節(jié)點(diǎn)空間不足，很容易出現(xiàn)緩存節(jié)點(diǎn)溢出的現(xiàn)象，導(dǎo)致重構(gòu)業(yè)務(wù)失敗。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種數(shù)據(jù)下刷方法、裝置、緩存節(jié)點(diǎn)及分布式存儲(chǔ)系統(tǒng)，以保證重構(gòu)業(yè)務(wù)的正常進(jìn)行。具體技術(shù)方案如下：

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)下刷方法，應(yīng)用于分布式存儲(chǔ)系統(tǒng)中的緩存節(jié)點(diǎn)，分布式存儲(chǔ)系統(tǒng)包括緩存節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)，該方法包括：

緩存節(jié)點(diǎn)獲取自身的當(dāng)前空間使用率以及空間使用率矯正系數(shù)，其中，空間使用率矯正系數(shù)表征分布式存儲(chǔ)系統(tǒng)中當(dāng)前未故障的緩存節(jié)點(diǎn)數(shù)目占緩存節(jié)點(diǎn)總數(shù)目的比例；

根據(jù)空間使用率矯正系數(shù)，對(duì)當(dāng)前空間使用率進(jìn)行矯正，得到矯正后的空間使用率；

若矯正后的空間使用率超過(guò)預(yù)設(shè)閾值，則下刷緩存節(jié)點(diǎn)本地存儲(chǔ)的數(shù)據(jù)至存儲(chǔ)節(jié)點(diǎn)。

可選的，獲取自身的當(dāng)前空間使用率的步驟，包括：

定時(shí)獲取自身的當(dāng)前空間使用量以及緩存節(jié)點(diǎn)自身的總?cè)萘浚?/p>

根據(jù)當(dāng)前空間使用量及總?cè)萘浚?jì)算緩存節(jié)點(diǎn)自身的當(dāng)前空間使用率。

可選的，分布式存儲(chǔ)系統(tǒng)還包括管理節(jié)點(diǎn)；獲取空間使用率矯正系數(shù)，包括：

定時(shí)向管理節(jié)點(diǎn)發(fā)送觸發(fā)請(qǐng)求，以觸發(fā)管理節(jié)點(diǎn)統(tǒng)計(jì)分布式存儲(chǔ)系統(tǒng)中當(dāng)前未故障的緩存節(jié)點(diǎn)數(shù)目及緩存節(jié)點(diǎn)總數(shù)目，并計(jì)算緩存節(jié)點(diǎn)數(shù)目占緩存節(jié)點(diǎn)總數(shù)目的比例作為空間使用率矯正系數(shù)；

接收管理節(jié)點(diǎn)反饋的空間使用率矯正系數(shù)。