[發明專利]一種用于確定大數據存儲系統的數據平衡性的方法及系統

在審

• 申請號: 201811005484.3
• 申請日: 2018-08-30
• 公開（公告）號: CN109271101A
• 公開（公告）日: 2019-01-25
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 杜廣香
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于確定大數據存儲系統的數據平衡性的方法，所述方法包括：

響應于接收到用于確定大數據存儲系統的數據平衡性的請求，將所述大數據存儲系統從任意的數據請求方所接收的新的數據訪問請求重定向到所述大數據存儲系統的系統緩沖設備而不將所接收的新的數據訪問請求發送給多個存儲設備中的相應的存儲設備，以由所述系統緩沖設備將新的數據訪問請求所包含的查詢條件的描述信息與所述系統緩沖設備的臨時數據項集合中的每個臨時數據項進行內容匹配以確定每個臨時數據項的內容匹配度，從多個臨時數據項中選擇內容匹配度大于匹配閾值的至少一個選定的臨時數據項，將所選擇的至少一個選定的臨時數據項發送給所述新的數據訪問請求所指示的數據請求方，并且在所述系統緩沖設備的緩沖區內保存所述新的數據訪問請求；

在確定所述大數據存儲系統內的所有存儲設備中均沒有正在運行的數據訪問操作時，獲取所述大數據存儲系統內多個存儲設備中每個存儲設備的運行日志文件，并且基于當前的統計時間區間和每個存儲設備的運行日志文件確定每個存儲設備中存儲的多個數據項的經過統計的訪問信息，根據每個存儲設備中存儲的多個數據項的經過統計的訪問信息確定每個存儲設備的訪問信息統計文件；其中所述訪問信息統計文件包括數據項統計表，所述數據項統計表包括多個數據項記錄，其中每個數據項記錄的內容為6元組<數據項的標識符、被訪問次數、統計起始時間、統計結束時間、存儲尺寸、存儲起始時間>；

對每個存儲設備的訪問信息統計文件進行解析，將當前的統計時間區間內每個存儲設備的所有數據項中被訪問次數小于低頻次數閾值的數據項確定為低頻數據項，確定每個存儲設備所包括的低頻數據項的低頻項數量；將多個存儲設備中低頻項數量大于低頻設備閾值的存儲設備確定為低頻存儲設備并確定大數據存儲系統中低頻存儲設備的數量；將低頻項數量小于或等于低頻設備閾值的存儲設備確定為非低頻存儲設備并確定大數據存儲系統中非低頻存儲設備的數量；

基于每個低頻存儲設備的訪問信息統計文件，確定每個低頻存儲設備的每個低頻數據項的存儲尺寸和被訪問次數并且確定每個低頻存儲設備的低頻數據項的低頻項數量，基于每個低頻存儲設備的訪問信息統計文件確定每個低頻存儲設備各自的所有數據項的總被訪問次數；根據每個低頻存儲設備的標識符和大數據存儲系統的系統記錄設備中的設備描述信息確定每個低頻存儲設備各自的總存儲容量，

基于每個非低頻存儲設備的訪問信息統計文件，確定每個非低頻存儲設備的每個低頻數據項的存儲尺寸和被訪問次數并且確定每個非低頻存儲設備的低頻數據項的低頻項數量，基于每個非低頻存儲設備的訪問信息統計文件確定每個非低頻存儲設備各自的所有數據項的總被訪問次數；根據每個非低頻存儲設備的標識符和大數據存儲系統的系統記錄設備中的設備描述信息確定每個非低頻存儲設備各自的總存儲容量；

計算大數據存儲系統的平衡系數：

其中，DE為大數據存儲系統的平衡系數，

其中，DLB是大數據存儲系統內低頻存儲設備的平衡系數；

LTN_i為第i個低頻存儲設備的低頻數據項的低頻項數量，LDN為大數據存儲系統中低頻存儲設備的數量；LTS_ij為第i個低頻存儲設備內第j個低頻數據項的存儲尺寸，LS_i為第i個低頻存儲設備的所有低頻數據項的總存儲尺寸，LC_i為第i個低頻存儲設備的總存儲容量，

LTA_ij為第i個低頻存儲設備內第j個低頻數據項的被訪問次數，LA_i為第i個低頻存儲設備的所有低頻數據項的總被訪問次數，LT_i為第i個低頻存儲設備的所有數據項的總被訪問次數；

其中i為自然數，LDN≥i≥1并且j為自然數，LTN_i≥j≥1，其中LDN≥100，并且LTN_i≥100；

其中，NDLB是大數據存儲系統內非低頻存儲設備的平衡系數；

NLTN_m為第m個非低頻存儲設備的低頻數據項的低頻項數量，NLDN為大數據存儲系統中非低頻存儲設備的數量；NLTS_mn為第m個非低頻存儲設備內第n個低頻數據項的存儲尺寸，NLS_m為第m個非低頻存儲設備的所有低頻數據項的總存儲尺寸，NLC_m為第m個非低頻存儲設備的總存儲容量，

NLTA_mn為第m個非低頻存儲設備內第n個低頻數據項的被訪問次數，NLA_m為第m個非低頻存儲設備的所有低頻數據項的總被訪問次數，NLT_m為第m個非低頻存儲設備的所有數據項的總被訪問次數；

其中m為自然數，NLDN≥m≥1并且n為自然數，NLTN_m≥n≥1，其中NLDN≥100并且NLTN_m≥50；以及

當大數據存儲系統的平衡系數DE大于系統平衡系數閾值時，確定所述大數據存儲系統的數據平衡性處于不平衡狀態。。