[發明專利]識別大數據存儲系統中的低訪問度存儲設備的方法及系統

在審

• 申請號: 201811006476.0
• 申請日: 2018-08-30
• 公開（公告）號: CN109271102A
• 公開（公告）日: 2019-01-25
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 杜廣香
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于識別大數據存儲系統中的低訪問度存儲設備的方法，所述方法包括：

響應于接收到在大數據存儲系統內的多個存儲設備中識別低訪問度存儲設備的識別請求，將所述大數據存儲系統從任意的數據請求方所接收的新的數據訪問請求重定向到所述大數據存儲系統的系統緩沖設備而不將所接收的新的數據訪問請求發送給多個存儲設備中的相應的存儲設備，以由所述系統緩沖設備將新的數據訪問請求所包含的查詢條件的描述信息與所述系統緩沖設備的臨時數據項集合中的每個臨時數據項進行內容匹配以確定每個臨時數據項的內容匹配度，從多個臨時數據項中選擇內容匹配度大于匹配度閾值的至少一個選定的臨時數據項，將所選擇的至少一個選定的臨時數據項發送給所述新的數據訪問請求所指示的數據請求方，并且在所述系統緩沖設備的緩沖區內保存所述新的數據訪問請求；

在確定所述大數據存儲系統內的所有存儲設備中均沒有正在運行的數據訪問操作時，獲取所述大數據存儲系統內多個存儲設備中每個存儲設備的運行日志文件，并且基于當前的統計時間區間和每個存儲設備的運行日志文件確定每個存儲設備中存儲的多個數據項的經過統計的訪問信息，根據每個存儲設備中存儲的多個數據項的經過統計的訪問信息確定每個存儲設備的訪問信息統計文件；其中所述訪問信息統計文件包括數據項統計表，所述數據項統計表包括多個數據項記錄，其中每個數據項記錄的內容為6元組<數據項的標識符、被訪問次數、統計起始時間、統計結束時間、存儲尺寸、存儲起始時間>；

基于所述訪問信息統計文件確定當前的統計時間區間內每個存儲設備的所有數據項中被訪問次數低于低頻次數閾值的多個低頻數據項，并確定每個存儲設備中低頻數據項的低頻項數量以及每個低頻數據項的存儲尺寸；根據每個存儲設備的每個低頻數據項的存儲尺寸確定每個存儲設備的多個低頻數據項中具有最大存儲尺寸的低頻存儲項和具有最小存儲尺寸的低頻存儲項；

根據大數據存儲系統的系統記錄設備中的設備描述信息確定每個存儲設備的總存儲容量和大數據存儲系統中所有存儲設備的總數量，根據每個存儲設備的存儲信息區域中的存儲信息文件來確定每個存儲設備的空閑存儲容量；

基于低頻項數量、每個低頻數據項的存儲尺寸、每個存儲設備的總存儲容量、每個存儲設備的空閑存儲容量、具有最大存儲尺寸的低頻存儲項和具有最小存儲尺寸的低頻存儲項計算每個存儲設備的低頻訪問度:

其中DA_i為第i個存儲設備的低頻訪問度，LTN_i為第i個存儲設備中低頻數據項的低頻項數量；C_i為第i個存儲設備的總存儲容量，R_i是第i個存儲設備的空閑存儲容量，S_ij為第i個存儲設備中第j個低頻數據項的存儲尺寸，S_imax為第i個存儲設備內所有低頻數據項中單個低頻數據項的最大存儲尺寸，S_imin為第i個存儲設備內所有低頻數據項中單個低頻數據項的最小存儲尺寸，其中i為自然數，DN≥i≥1并且j為自然數，LTN_i≥j≥1，其中DN為大數據存儲系統中所有存儲設備的總數量并且DN≥200，其中LTN_i≥100；

將多個存儲設備中低頻訪問度大于訪問度閾值的存儲設備確定為低訪問度存儲設備。