[發(fā)明專(zhuān)利]數(shù)據(jù)塊調(diào)度方法、裝置、調(diào)度層節(jié)點(diǎn)及存儲(chǔ)層節(jié)點(diǎn)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010899896.7
• 申請(qǐng)日: 2020-08-31
• 公開(kāi)（公告）號(hào): CN112035498B
• 公開(kāi)（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 朱博帥;郭磊濤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類(lèi)號(hào): G06F16/23
• 分類(lèi)號(hào): G06F16/23;G06F16/27
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;丁蕓

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)塊調(diào)度方法、裝置、調(diào)度層節(jié)點(diǎn)、存儲(chǔ)層節(jié)點(diǎn)及分布式數(shù)據(jù)庫(kù)系統(tǒng)，其中方法包括：應(yīng)用于分布式數(shù)據(jù)庫(kù)系統(tǒng)中的調(diào)度層節(jié)點(diǎn)，獲取各個(gè)存儲(chǔ)層節(jié)點(diǎn)所存儲(chǔ)的每個(gè)數(shù)據(jù)塊的讀頻率；將讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊確定為目標(biāo)數(shù)據(jù)塊；向待調(diào)度存儲(chǔ)層節(jié)點(diǎn)發(fā)送針對(duì)目標(biāo)數(shù)據(jù)塊的數(shù)據(jù)塊拆分指令，以使待調(diào)度存儲(chǔ)層節(jié)點(diǎn)將目標(biāo)數(shù)據(jù)塊拆分為多個(gè)子數(shù)據(jù)塊，并將至少一個(gè)子數(shù)據(jù)塊發(fā)送至目標(biāo)存儲(chǔ)層節(jié)點(diǎn)進(jìn)行存儲(chǔ)。本發(fā)明實(shí)施例能夠平衡分布式數(shù)據(jù)庫(kù)系統(tǒng)中各存儲(chǔ)層節(jié)點(diǎn)的處理壓力。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式數(shù)據(jù)庫(kù)系統(tǒng)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)塊調(diào)度方法、裝置、調(diào)度層節(jié)點(diǎn)及存儲(chǔ)層節(jié)點(diǎn)。

背景技術(shù)

目前，分布式數(shù)據(jù)庫(kù)系統(tǒng)廣泛的應(yīng)用在各個(gè)領(lǐng)域中。分布式數(shù)據(jù)庫(kù)系統(tǒng)常用的數(shù)據(jù)存儲(chǔ)方法為各存儲(chǔ)層分段存儲(chǔ)數(shù)據(jù)，每段數(shù)據(jù)單位為一個(gè)數(shù)據(jù)塊(segment)，不同數(shù)據(jù)塊的數(shù)據(jù)內(nèi)容互不重疊。

現(xiàn)有技術(shù)中，分布式數(shù)據(jù)庫(kù)中通常可以包括多個(gè)存儲(chǔ)層節(jié)點(diǎn)，其中每個(gè)存儲(chǔ)層節(jié)點(diǎn)中均存儲(chǔ)有多個(gè)數(shù)據(jù)塊，且多個(gè)數(shù)據(jù)塊中的數(shù)據(jù)內(nèi)容為固定數(shù)據(jù)內(nèi)容。

由于不同的數(shù)據(jù)塊中的數(shù)據(jù)內(nèi)容不同，有一些數(shù)據(jù)塊的數(shù)據(jù)內(nèi)容可能是用戶(hù)特別感興趣的數(shù)據(jù)，該數(shù)據(jù)塊會(huì)被客戶(hù)端100頻繁訪問(wèn)，使得存儲(chǔ)該數(shù)據(jù)塊的存儲(chǔ)層節(jié)點(diǎn)130處理壓力較大；還有一些數(shù)據(jù)塊的數(shù)據(jù)內(nèi)容可能是用戶(hù)不感興趣的數(shù)據(jù)，該數(shù)據(jù)塊被客戶(hù)端100訪問(wèn)的頻率很低，使得存儲(chǔ)該數(shù)據(jù)塊的存儲(chǔ)層節(jié)點(diǎn)130處理壓力較小。

可見(jiàn)，現(xiàn)有技術(shù)中，整個(gè)分布式數(shù)據(jù)庫(kù)系統(tǒng)中各存儲(chǔ)層節(jié)點(diǎn)130的處理壓力分布不均。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種數(shù)據(jù)塊調(diào)度方法、裝置、調(diào)度層節(jié)點(diǎn)及存儲(chǔ)層節(jié)點(diǎn)，以平衡分布式數(shù)據(jù)庫(kù)系統(tǒng)中各存儲(chǔ)層節(jié)點(diǎn)的處理壓力。具體技術(shù)方案如下：

在本發(fā)明實(shí)施的第一方面，首先提供了一種數(shù)據(jù)塊調(diào)度方法，應(yīng)用于分布式數(shù)據(jù)庫(kù)系統(tǒng)中的調(diào)度層節(jié)點(diǎn)，所述分布式數(shù)據(jù)庫(kù)系統(tǒng)還包括多個(gè)存儲(chǔ)層節(jié)點(diǎn)，所述方法包括：

獲取各個(gè)存儲(chǔ)層節(jié)點(diǎn)所存儲(chǔ)的每個(gè)數(shù)據(jù)塊的讀頻率；

將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊確定為目標(biāo)數(shù)據(jù)塊；

向待調(diào)度存儲(chǔ)層節(jié)點(diǎn)發(fā)送針對(duì)所述目標(biāo)數(shù)據(jù)塊的數(shù)據(jù)塊拆分指令，以使所述待調(diào)度存儲(chǔ)層節(jié)點(diǎn)將所述目標(biāo)數(shù)據(jù)塊拆分為多個(gè)子數(shù)據(jù)塊，并將至少一個(gè)子數(shù)據(jù)塊發(fā)送至目標(biāo)存儲(chǔ)層節(jié)點(diǎn)進(jìn)行存儲(chǔ)，所述待調(diào)度存儲(chǔ)層節(jié)點(diǎn)為存儲(chǔ)所述目標(biāo)數(shù)據(jù)塊的存儲(chǔ)層節(jié)點(diǎn)，所述目標(biāo)存儲(chǔ)層節(jié)點(diǎn)為所述多個(gè)存儲(chǔ)層節(jié)點(diǎn)中除所述待調(diào)度層節(jié)點(diǎn)之外的其他存儲(chǔ)層節(jié)點(diǎn)。

可選地，所述將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊確定為目標(biāo)數(shù)據(jù)塊的步驟，包括：

將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊的數(shù)據(jù)塊標(biāo)識(shí)，添加至預(yù)設(shè)的分級(jí)隊(duì)列中，所述分級(jí)隊(duì)列中包括多個(gè)不同級(jí)別的隊(duì)列；

若所述分級(jí)隊(duì)列的最高級(jí)隊(duì)列中存在數(shù)據(jù)塊標(biāo)識(shí)，則判斷所述最高級(jí)隊(duì)列中的數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊，在預(yù)設(shè)時(shí)長(zhǎng)之后讀頻率是否大于或等于所述最高級(jí)隊(duì)列預(yù)設(shè)的拆分閾值；如果是，則將該數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊確定為所述目標(biāo)數(shù)據(jù)塊，所述拆分閾值大于或等于所述預(yù)設(shè)讀頻率閾值。

可選地，在所述若所述分級(jí)隊(duì)列的最高級(jí)隊(duì)列中存在數(shù)據(jù)塊標(biāo)識(shí)，則判斷所述最高級(jí)隊(duì)列中的數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊在預(yù)設(shè)時(shí)長(zhǎng)之后，讀頻率是否大于所述最高級(jí)隊(duì)列預(yù)設(shè)的拆分閾值的步驟之后，所述將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊確定為目標(biāo)數(shù)據(jù)塊的步驟，還包括：

若否，則判斷該數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊，在預(yù)設(shè)時(shí)長(zhǎng)后的讀頻率是否小于所述最高級(jí)隊(duì)列預(yù)設(shè)的下降閾值，若是，則將該數(shù)據(jù)塊標(biāo)識(shí)移動(dòng)至下一級(jí)隊(duì)列。

可選地，所述分級(jí)隊(duì)列中還包括最低級(jí)隊(duì)列和至少一個(gè)中間隊(duì)列，所述所述中間隊(duì)列設(shè)置有下降閾值，所述最低級(jí)隊(duì)列和所述中間隊(duì)列設(shè)置有晉升閾值，所述最低級(jí)隊(duì)列中還設(shè)置有淘汰閾值；所述淘汰閾值大于或等于所述預(yù)設(shè)讀頻率閾值；