[發(fā)明專利]識(shí)別大數(shù)據(jù)存儲(chǔ)系統(tǒng)中的低訪問(wèn)度存儲(chǔ)設(shè)備的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811006476.0
• 申請(qǐng)日: 2018-08-30
• 公開(kāi)（公告）號(hào): CN109271102A
• 公開(kāi)（公告）日: 2019-01-25
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 杜廣香
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種用于識(shí)別大數(shù)據(jù)存儲(chǔ)系統(tǒng)中的低訪問(wèn)度存儲(chǔ)設(shè)備的方法及系統(tǒng)，其中方法包括：在確定所述大數(shù)據(jù)存儲(chǔ)系統(tǒng)內(nèi)的所有存儲(chǔ)設(shè)備中均沒(méi)有正在運(yùn)行的數(shù)據(jù)訪問(wèn)操作時(shí)，確定每個(gè)存儲(chǔ)設(shè)備的訪問(wèn)信息統(tǒng)計(jì)文件；基于低頻項(xiàng)數(shù)量、每個(gè)低頻數(shù)據(jù)項(xiàng)的存儲(chǔ)尺寸、每個(gè)存儲(chǔ)設(shè)備的總存儲(chǔ)容量、每個(gè)存儲(chǔ)設(shè)備的空閑存儲(chǔ)容量、具有最大存儲(chǔ)尺寸的低頻存儲(chǔ)項(xiàng)和具有最小存儲(chǔ)尺寸的低頻存儲(chǔ)項(xiàng)計(jì)算每個(gè)存儲(chǔ)設(shè)備的低頻訪問(wèn)度:將多個(gè)存儲(chǔ)設(shè)備中低頻訪問(wèn)度大于訪問(wèn)度閾值的存儲(chǔ)設(shè)備確定為低訪問(wèn)度存儲(chǔ)設(shè)備。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)存儲(chǔ)領(lǐng)域和云存儲(chǔ)領(lǐng)域，并且更具體地，涉及一種識(shí)別大數(shù)據(jù)存儲(chǔ)系統(tǒng)中的低訪問(wèn)度存儲(chǔ)設(shè)備的方法及系統(tǒng)。

背景技術(shù)

目前，隨著各種類型的信息設(shè)備的使用變得越來(lái)越頻繁，數(shù)據(jù)量正以幾何級(jí)數(shù)的方式進(jìn)行爆炸式增加。為了從海量的數(shù)據(jù)中獲取有用信息，必須對(duì)海量的數(shù)據(jù)進(jìn)行有效存儲(chǔ)。大數(shù)據(jù)存儲(chǔ)系統(tǒng)能夠滿足對(duì)對(duì)海量數(shù)據(jù)進(jìn)行有效存儲(chǔ)的需求。然而，在目前的大數(shù)據(jù)存儲(chǔ)系統(tǒng)中，由于部分存儲(chǔ)設(shè)備中的低頻數(shù)據(jù)項(xiàng)(被訪問(wèn)次數(shù)較少的數(shù)據(jù)項(xiàng))會(huì)導(dǎo)致存儲(chǔ)設(shè)備整體上的訪問(wèn)效率或數(shù)據(jù)使用率較低。當(dāng)這種包括低頻數(shù)據(jù)項(xiàng)過(guò)多的存儲(chǔ)設(shè)備的數(shù)量不斷增加時(shí)，大數(shù)據(jù)存儲(chǔ)系統(tǒng)的數(shù)據(jù)訪問(wèn)效率會(huì)嚴(yán)重降低。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的一個(gè)方面，提供一種用于識(shí)別大數(shù)據(jù)存儲(chǔ)系統(tǒng)中的低訪問(wèn)度存儲(chǔ)設(shè)備的方法，所述方法包括：

響應(yīng)于接收到在大數(shù)據(jù)存儲(chǔ)系統(tǒng)內(nèi)的多個(gè)存儲(chǔ)設(shè)備中識(shí)別低訪問(wèn)度存儲(chǔ)設(shè)備的識(shí)別請(qǐng)求，將所述大數(shù)據(jù)存儲(chǔ)系統(tǒng)從任意的數(shù)據(jù)請(qǐng)求方所接收的新的數(shù)據(jù)訪問(wèn)請(qǐng)求重定向到所述大數(shù)據(jù)存儲(chǔ)系統(tǒng)的系統(tǒng)緩沖設(shè)備而不將所接收的新的數(shù)據(jù)訪問(wèn)請(qǐng)求發(fā)送給多個(gè)存儲(chǔ)設(shè)備中的相應(yīng)的存儲(chǔ)設(shè)備，以由所述系統(tǒng)緩沖設(shè)備將新的數(shù)據(jù)訪問(wèn)請(qǐng)求所包含的查詢條件的描述信息與所述系統(tǒng)緩沖設(shè)備的臨時(shí)數(shù)據(jù)項(xiàng)集合中的每個(gè)臨時(shí)數(shù)據(jù)項(xiàng)進(jìn)行內(nèi)容匹配以確定每個(gè)臨時(shí)數(shù)據(jù)項(xiàng)的內(nèi)容匹配度，從多個(gè)臨時(shí)數(shù)據(jù)項(xiàng)中選擇內(nèi)容匹配度大于匹配度閾值的至少一個(gè)選定的臨時(shí)數(shù)據(jù)項(xiàng)，將所選擇的至少一個(gè)選定的臨時(shí)數(shù)據(jù)項(xiàng)發(fā)送給所述新的數(shù)據(jù)訪問(wèn)請(qǐng)求所指示的數(shù)據(jù)請(qǐng)求方，并且在所述系統(tǒng)緩沖設(shè)備的緩沖區(qū)內(nèi)保存所述新的數(shù)據(jù)訪問(wèn)請(qǐng)求；

在確定所述大數(shù)據(jù)存儲(chǔ)系統(tǒng)內(nèi)的所有存儲(chǔ)設(shè)備中均沒(méi)有正在運(yùn)行的數(shù)據(jù)訪問(wèn)操作時(shí)，獲取所述大數(shù)據(jù)存儲(chǔ)系統(tǒng)內(nèi)多個(gè)存儲(chǔ)設(shè)備中每個(gè)存儲(chǔ)設(shè)備的運(yùn)行日志文件，并且基于當(dāng)前的統(tǒng)計(jì)時(shí)間區(qū)間和每個(gè)存儲(chǔ)設(shè)備的運(yùn)行日志文件確定每個(gè)存儲(chǔ)設(shè)備中存儲(chǔ)的多個(gè)數(shù)據(jù)項(xiàng)的經(jīng)過(guò)統(tǒng)計(jì)的訪問(wèn)信息，根據(jù)每個(gè)存儲(chǔ)設(shè)備中存儲(chǔ)的多個(gè)數(shù)據(jù)項(xiàng)的經(jīng)過(guò)統(tǒng)計(jì)的訪問(wèn)信息確定每個(gè)存儲(chǔ)設(shè)備的訪問(wèn)信息統(tǒng)計(jì)文件；其中所述訪問(wèn)信息統(tǒng)計(jì)文件包括數(shù)據(jù)項(xiàng)統(tǒng)計(jì)表，所述數(shù)據(jù)項(xiàng)統(tǒng)計(jì)表包括多個(gè)數(shù)據(jù)項(xiàng)記錄，其中每個(gè)數(shù)據(jù)項(xiàng)記錄的內(nèi)容為6元組<數(shù)據(jù)項(xiàng)的標(biāo)識(shí)符、被訪問(wèn)次數(shù)、統(tǒng)計(jì)起始時(shí)間、統(tǒng)計(jì)結(jié)束時(shí)間、存儲(chǔ)尺寸、存儲(chǔ)起始時(shí)間>；

基于所述訪問(wèn)信息統(tǒng)計(jì)文件確定當(dāng)前的統(tǒng)計(jì)時(shí)間區(qū)間內(nèi)每個(gè)存儲(chǔ)設(shè)備的所有數(shù)據(jù)項(xiàng)中被訪問(wèn)次數(shù)低于低頻次數(shù)閾值的多個(gè)低頻數(shù)據(jù)項(xiàng)，并確定每個(gè)存儲(chǔ)設(shè)備中低頻數(shù)據(jù)項(xiàng)的低頻項(xiàng)數(shù)量以及每個(gè)低頻數(shù)據(jù)項(xiàng)的存儲(chǔ)尺寸；根據(jù)每個(gè)存儲(chǔ)設(shè)備的每個(gè)低頻數(shù)據(jù)項(xiàng)的存儲(chǔ)尺寸確定每個(gè)存儲(chǔ)設(shè)備的多個(gè)低頻數(shù)據(jù)項(xiàng)中具有最大存儲(chǔ)尺寸的低頻存儲(chǔ)項(xiàng)和具有最小存儲(chǔ)尺寸的低頻存儲(chǔ)項(xiàng)；

根據(jù)大數(shù)據(jù)存儲(chǔ)系統(tǒng)的系統(tǒng)記錄設(shè)備中的設(shè)備描述信息確定每個(gè)存儲(chǔ)設(shè)備的總存儲(chǔ)容量和大數(shù)據(jù)存儲(chǔ)系統(tǒng)中所有存儲(chǔ)設(shè)備的總數(shù)量，根據(jù)每個(gè)存儲(chǔ)設(shè)備的存儲(chǔ)信息區(qū)域中的存儲(chǔ)信息文件來(lái)確定每個(gè)存儲(chǔ)設(shè)備的空閑存儲(chǔ)容量；

基于低頻項(xiàng)數(shù)量、每個(gè)低頻數(shù)據(jù)項(xiàng)的存儲(chǔ)尺寸、每個(gè)存儲(chǔ)設(shè)備的總存儲(chǔ)容量、每個(gè)存儲(chǔ)設(shè)備的空閑存儲(chǔ)容量、具有最大存儲(chǔ)尺寸的低頻存儲(chǔ)項(xiàng)和具有最小存儲(chǔ)尺寸的低頻存儲(chǔ)項(xiàng)計(jì)算每個(gè)存儲(chǔ)設(shè)備的低頻訪問(wèn)度: