[發(fā)明專利]數(shù)據(jù)塊調(diào)度方法、裝置、調(diào)度層節(jié)點(diǎn)及存儲(chǔ)層節(jié)點(diǎn)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010899896.7
• 申請(qǐng)日: 2020-08-31
• 公開（公告）號(hào): CN112035498B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 朱博帥;郭磊濤
• 申請(qǐng)（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06F16/27
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;丁蕓

1.一種數(shù)據(jù)塊調(diào)度方法，其特征在于，應(yīng)用于分布式數(shù)據(jù)庫系統(tǒng)中的調(diào)度層節(jié)點(diǎn)，所述分布式數(shù)據(jù)庫系統(tǒng)還包括多個(gè)存儲(chǔ)層節(jié)點(diǎn)，所述方法包括：

獲取各個(gè)存儲(chǔ)層節(jié)點(diǎn)所存儲(chǔ)的每個(gè)數(shù)據(jù)塊的讀頻率；

將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊確定為目標(biāo)數(shù)據(jù)塊；

向待調(diào)度存儲(chǔ)層節(jié)點(diǎn)發(fā)送針對(duì)所述目標(biāo)數(shù)據(jù)塊的數(shù)據(jù)塊拆分指令，以使所述待調(diào)度存儲(chǔ)層節(jié)點(diǎn)將所述目標(biāo)數(shù)據(jù)塊拆分為多個(gè)子數(shù)據(jù)塊，并將至少一個(gè)子數(shù)據(jù)塊發(fā)送至目標(biāo)存儲(chǔ)層節(jié)點(diǎn)進(jìn)行存儲(chǔ)，所述待調(diào)度存儲(chǔ)層節(jié)點(diǎn)為存儲(chǔ)所述目標(biāo)數(shù)據(jù)塊的存儲(chǔ)層節(jié)點(diǎn)，所述目標(biāo)存儲(chǔ)層節(jié)點(diǎn)為所述多個(gè)存儲(chǔ)層節(jié)點(diǎn)中除所述待調(diào)度存儲(chǔ)層節(jié)點(diǎn)之外的其他存儲(chǔ)層節(jié)點(diǎn)；

所述將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊確定為目標(biāo)數(shù)據(jù)塊的步驟，包括：

將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊的數(shù)據(jù)塊標(biāo)識(shí)，添加至預(yù)設(shè)的分級(jí)隊(duì)列中，所述分級(jí)隊(duì)列中包括多個(gè)不同級(jí)別的隊(duì)列；

若所述分級(jí)隊(duì)列的最高級(jí)隊(duì)列中存在數(shù)據(jù)塊標(biāo)識(shí)，則判斷所述最高級(jí)隊(duì)列中的數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊，在預(yù)設(shè)時(shí)長之后讀頻率是否大于或等于所述最高級(jí)隊(duì)列預(yù)設(shè)的拆分閾值；如果是，則將該數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊確定為所述目標(biāo)數(shù)據(jù)塊，所述拆分閾值大于或等于所述預(yù)設(shè)讀頻率閾值；

所述分級(jí)隊(duì)列中還包括最低級(jí)隊(duì)列和至少一個(gè)中間隊(duì)列，所述中間隊(duì)列設(shè)置有下降閾值，所述最低級(jí)隊(duì)列和所述中間隊(duì)列設(shè)置有晉升閾值，所述最低級(jí)隊(duì)列中還設(shè)置有淘汰閾值；所述淘汰閾值大于或等于所述預(yù)設(shè)讀頻率閾值；

所述將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊的數(shù)據(jù)塊標(biāo)識(shí)，添加至預(yù)設(shè)的分級(jí)隊(duì)列中的步驟，包括：

將所述讀頻率大于所述預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊的數(shù)據(jù)塊標(biāo)識(shí)，添加至所述分級(jí)隊(duì)列的最低級(jí)隊(duì)列中；

在所述若所述分級(jí)隊(duì)列的最高級(jí)隊(duì)列中存在數(shù)據(jù)塊標(biāo)識(shí)，則判斷所述最高級(jí)隊(duì)列中的數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊在預(yù)設(shè)時(shí)長之后，讀頻率是否大于所述最高級(jí)隊(duì)列預(yù)設(shè)的拆分閾值的步驟之前，所述將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊確定為目標(biāo)數(shù)據(jù)塊的步驟，還包括：

輪詢各級(jí)隊(duì)列；

判斷所述最低級(jí)隊(duì)列中的各數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊的當(dāng)前讀頻率是否大于或等于所述最低級(jí)隊(duì)列的晉升閾值，若是，則將該數(shù)據(jù)塊標(biāo)識(shí)移動(dòng)至上一級(jí)隊(duì)列中；若否，則判斷該數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊的當(dāng)前讀頻率是否小于所述淘汰閾值，若是，則將該數(shù)據(jù)塊標(biāo)識(shí)從所述分級(jí)隊(duì)列中移除；

判斷所述中間隊(duì)列中的各數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊的當(dāng)前讀頻率是否大于或等于該中間隊(duì)列的晉升閾值，若是，則將該數(shù)據(jù)塊標(biāo)識(shí)移動(dòng)至上一級(jí)隊(duì)列中；若否，則判斷該數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊的當(dāng)前讀頻率是否小于所述最低級(jí)隊(duì)列的下降閾值，若是，則將該數(shù)據(jù)塊標(biāo)識(shí)移動(dòng)至下一級(jí)隊(duì)列。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述若所述分級(jí)隊(duì)列的最高級(jí)隊(duì)列中存在數(shù)據(jù)塊標(biāo)識(shí)，則判斷所述最高級(jí)隊(duì)列中的數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊在預(yù)設(shè)時(shí)長之后，讀頻率是否大于所述最高級(jí)隊(duì)列預(yù)設(shè)的拆分閾值的步驟之后，所述將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊確定為目標(biāo)數(shù)據(jù)塊的步驟，還包括：

若否，則判斷該數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊，在預(yù)設(shè)時(shí)長后的讀頻率是否小于所述最高級(jí)隊(duì)列預(yù)設(shè)的下降閾值，若是，則將該數(shù)據(jù)塊標(biāo)識(shí)移動(dòng)至下一級(jí)隊(duì)列。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述讀頻率大于預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊確定為目標(biāo)數(shù)據(jù)塊的步驟，包括：

保存讀頻率大于所述預(yù)設(shè)讀頻率閾值的數(shù)據(jù)塊的數(shù)據(jù)塊標(biāo)識(shí)；

判斷所保存的數(shù)據(jù)塊標(biāo)識(shí)中，各數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊，在預(yù)設(shè)時(shí)長之內(nèi)的讀頻率是否保持大于所述預(yù)設(shè)讀頻率閾值；

若是，則將該數(shù)據(jù)塊標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)塊確定為所述目標(biāo)數(shù)據(jù)塊。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取各個(gè)存儲(chǔ)層節(jié)點(diǎn)所存儲(chǔ)的每個(gè)數(shù)據(jù)塊的讀頻率的步驟，包括：

定時(shí)接收各個(gè)所述存儲(chǔ)層節(jié)點(diǎn)發(fā)送的，該存儲(chǔ)層節(jié)點(diǎn)所存儲(chǔ)的每個(gè)數(shù)據(jù)塊的讀頻率；

或者，定時(shí)從各個(gè)所述存儲(chǔ)層節(jié)點(diǎn)，查詢?cè)摯鎯?chǔ)層節(jié)點(diǎn)所存儲(chǔ)的每個(gè)數(shù)據(jù)塊的讀頻率。