[發(fā)明專利]一種數(shù)據(jù)緩存節(jié)點(diǎn)管理方法、數(shù)據(jù)緩存方法和緩存管理節(jié)點(diǎn)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810404819.2
• 申請(qǐng)日: 2018-04-28
• 公開（公告）號(hào): CN108646981B
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 徐佳宏;李銀
• 申請(qǐng)（專利權(quán)）人: 深圳市茁壯網(wǎng)絡(luò)股份有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

本發(fā)明提供了一種數(shù)據(jù)緩存節(jié)點(diǎn)管理方法、數(shù)據(jù)緩存方法和緩存管理節(jié)點(diǎn)，所述數(shù)據(jù)緩存節(jié)點(diǎn)管理方法應(yīng)用于緩存管理節(jié)點(diǎn)，緩存管理節(jié)點(diǎn)和至少一個(gè)數(shù)據(jù)緩存節(jié)點(diǎn)通信連接，任一數(shù)據(jù)緩存節(jié)點(diǎn)中均包括至少一個(gè)硬盤，一種數(shù)據(jù)緩存節(jié)點(diǎn)管理方法包括：獲得各數(shù)據(jù)緩存節(jié)點(diǎn)中的硬盤的容量信息；根據(jù)容量信息將各硬盤的至少部分存儲(chǔ)空間劃分為多個(gè)數(shù)據(jù)存儲(chǔ)塊并為各數(shù)據(jù)存儲(chǔ)塊設(shè)置塊標(biāo)記；對(duì)每個(gè)數(shù)據(jù)緩存節(jié)點(diǎn)：根據(jù)塊標(biāo)記將該數(shù)據(jù)緩存節(jié)點(diǎn)中的各數(shù)據(jù)存儲(chǔ)塊劃分到多個(gè)塊組中，每個(gè)塊組中均包括多個(gè)數(shù)據(jù)存儲(chǔ)塊，同一塊組中的各數(shù)據(jù)存儲(chǔ)塊所在的硬盤不完全相同；將每個(gè)塊組確定為一個(gè)用于進(jìn)行數(shù)據(jù)緩存的數(shù)據(jù)緩存單元。本發(fā)明能實(shí)現(xiàn)低成本的大量數(shù)據(jù)的緩存。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)緩存領(lǐng)域，特別涉及一種數(shù)據(jù)緩存節(jié)點(diǎn)管理方法、數(shù)據(jù)緩存方法和緩存管理節(jié)點(diǎn)。

背景技術(shù)

在數(shù)據(jù)處理中，為方便數(shù)據(jù)請(qǐng)求方對(duì)頻繁訪問的數(shù)據(jù)進(jìn)行快速訪問，提高數(shù)據(jù)的輸出效率，會(huì)將硬盤中下載的數(shù)據(jù)先存放在離數(shù)據(jù)請(qǐng)求方較近、訪問速度更快的系統(tǒng)中，即進(jìn)行數(shù)據(jù)緩存。

現(xiàn)有技術(shù)中對(duì)于數(shù)據(jù)的緩存基于內(nèi)存來實(shí)現(xiàn)，即將數(shù)據(jù)先保存于內(nèi)存空間中，以提高硬盤的輸入/輸出的效率。

由于內(nèi)存的容量很小，如果要使用內(nèi)存實(shí)現(xiàn)大量數(shù)據(jù)的緩存，其成本很高，因此實(shí)現(xiàn)低成本的大量數(shù)據(jù)的緩存成為難題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種數(shù)據(jù)緩存節(jié)點(diǎn)管理方法、數(shù)據(jù)緩存方法和緩存管理節(jié)點(diǎn)。本發(fā)明可以通過使用硬盤實(shí)現(xiàn)在低成本下對(duì)大量數(shù)據(jù)的緩存。

為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供以下技術(shù)方案：

一種數(shù)據(jù)緩存節(jié)點(diǎn)管理方法，應(yīng)用于緩存管理節(jié)點(diǎn)，所述緩存管理節(jié)點(diǎn)和至少一個(gè)數(shù)據(jù)緩存節(jié)點(diǎn)通信連接，任一所述數(shù)據(jù)緩存節(jié)點(diǎn)中均包括至少一個(gè)硬盤，所述方法包括：

獲得各數(shù)據(jù)緩存節(jié)點(diǎn)中的硬盤的容量信息；

根據(jù)所述容量信息將各硬盤的至少部分存儲(chǔ)空間劃分為多個(gè)數(shù)據(jù)存儲(chǔ)塊并為各數(shù)據(jù)存儲(chǔ)塊設(shè)置塊標(biāo)記；

對(duì)每個(gè)數(shù)據(jù)緩存節(jié)點(diǎn)：根據(jù)所述塊標(biāo)記將該數(shù)據(jù)緩存節(jié)點(diǎn)中的各數(shù)據(jù)存儲(chǔ)塊劃分到多個(gè)塊組中，每個(gè)所述塊組中均包括多個(gè)數(shù)據(jù)存儲(chǔ)塊，同一塊組中的各數(shù)據(jù)存儲(chǔ)塊所在的硬盤不完全相同；

將每個(gè)塊組確定為一個(gè)用于進(jìn)行數(shù)據(jù)緩存的數(shù)據(jù)緩存單元。

可選的，同一數(shù)據(jù)緩存節(jié)點(diǎn)中的各數(shù)據(jù)存儲(chǔ)塊大小相同；

和/或，同一數(shù)據(jù)緩存節(jié)點(diǎn)中的各硬盤中的數(shù)據(jù)存儲(chǔ)塊數(shù)量相同；

和/或，同一數(shù)據(jù)緩存節(jié)點(diǎn)中的各硬盤對(duì)應(yīng)的標(biāo)記組相同，每個(gè)標(biāo)記組由其對(duì)應(yīng)的硬盤中的數(shù)據(jù)存儲(chǔ)塊的塊標(biāo)記構(gòu)成；

和/或，同一數(shù)據(jù)緩存單元中各數(shù)據(jù)存儲(chǔ)塊的塊標(biāo)記相同。

可選的，在所述將每個(gè)塊組確定為一個(gè)用于進(jìn)行數(shù)據(jù)緩存的數(shù)據(jù)緩存單元之后，所述方法還包括：

將全部數(shù)據(jù)緩存單元的數(shù)據(jù)索引信息保存在所述緩存管理節(jié)點(diǎn)本地，并將每一個(gè)數(shù)據(jù)緩存單元的數(shù)據(jù)索引信息發(fā)送至該數(shù)據(jù)緩存單元所在的數(shù)據(jù)緩存節(jié)點(diǎn)。

可選的，所述方法還包括：

在確定第一數(shù)據(jù)緩存節(jié)點(diǎn)中斷數(shù)據(jù)緩存服務(wù)后，將本地保存的所述第一數(shù)據(jù)緩存節(jié)點(diǎn)中各數(shù)據(jù)緩存單元的數(shù)據(jù)索引信息刪除；

和/或，在獲得第二數(shù)據(jù)緩存節(jié)點(diǎn)發(fā)送的緩存服務(wù)提供請(qǐng)求后，確定所述第二數(shù)據(jù)緩存節(jié)點(diǎn)是否已劃分得到數(shù)據(jù)緩存單元，如果是，則從所述第二數(shù)據(jù)緩存節(jié)點(diǎn)中獲取所述第二數(shù)據(jù)緩存節(jié)點(diǎn)中各數(shù)據(jù)緩存單元的數(shù)據(jù)索引信息并保存在所述緩存管理節(jié)點(diǎn)本地，否則，對(duì)所述第二數(shù)據(jù)緩存節(jié)點(diǎn)進(jìn)行劃分以得到數(shù)據(jù)緩存單元。

可選的，所述數(shù)據(jù)緩存節(jié)點(diǎn)中還包括備用硬盤，所述方法還包括：