[發明專利]用于避免大數據存儲系統進入訪問失衡狀態的方法及系統

有效

• 申請號: 201811006479.4
• 申請日: 2018-08-30
• 公開（公告）號: CN109240988B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 麥樂峰（廈門）智能科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/2458
• 代理公司: 深圳立專知識產權代理有限公司 441000
• 代理人: 單天禹

本發明公開了一種用于避免大數據存儲系統進入訪問失衡狀態的方法及系統，其中方法包括：根據每個存儲設備中存儲的多個數據項的經過統計的訪問信息確定每個存儲設備的訪問信息統計文件；計算大數據存儲系統內低頻存儲設備的平衡系數；當大數據存儲系統內低頻存儲設備的平衡系數大于平衡預警閾值時，從大數據存儲系統內所有低頻存儲設備中確定選定組合的低頻存儲設備和多元組合的低頻存儲設備，針對于多個選定組合的低頻存儲設備中的每個選定組合的低頻存儲設備進行處理，或針對于多個多元組合的低頻存儲設備中的每個多元組合的低頻存儲設備進行處理，以避免大數據存儲系統進入訪問失衡狀態。

技術領域

本發明涉及大數據存儲領域和云存儲領域，并且更具體地，涉及一種用于避免大數據存儲系統進入訪問失衡狀態的方法及系統。

背景技術

目前，隨著各種類型的信息設備的使用變得越來越頻繁，數據量正以幾何級數的方式進行爆炸式增加。為了從海量的數據中獲取有用信息，必須對海量的數據進行有效存儲。大數據存儲系統能夠滿足對對海量數據進行有效存儲的需求。然而，在目前的大數據存儲系統中，由于每個數據項的被訪問次數不同,會導致存儲設備之間的數據被訪問次數的失衡，進而導致大數據系統的數據平衡性出現訪問失衡的問題。為此，現有技術中存在對避免大數據存儲系統進入訪問失衡狀態的需求。

發明內容

根據本發明的一個方面，提供一種用于避免大數據存儲系統進入訪問失衡狀態的方法，所述方法包括：基于當前的統計時間區間和大數據存儲系統內多個存儲設備中每個存儲設備的運行日志文件確定每個存儲設備中存儲的多個數據項的經過統計的訪問信息，根據每個存儲設備中存儲的多個數據項的經過統計的訪問信息確定每個存儲設備的訪問信息統計文件；其中所述訪問信息統計文件包括數據項統計表，所述數據項統計表包括多個數據項記錄，其中每個數據項記錄的內容為6元組數據項的標識符、被訪問次數、統計起始時間、統計結束時間、存儲尺寸、存儲起始時間；

對每個存儲設備的訪問信息統計文件進行解析，將當前的統計時間區間內每個存儲設備的所有數據項中被訪問次數小于低頻次數閾值Lthreshod的數據項確定為低頻數據項，確定每個存儲設備所包括的低頻數據項的低頻項數量；將多個存儲設備中低頻項數量大于低頻設備閾值的存儲設備確定為低頻存儲設備并確定大數據存儲系統中低頻存儲設備的數量；

基于每個低頻存儲設備的訪問信息統計文件，確定每個低頻存儲設備的每個低頻數據項的存儲尺寸和被訪問次數并且確定每個低頻存儲設備的低頻數據項的低頻項數量，基于每個低頻存儲設備的訪問信息統計文件確定每個低頻存儲設備各自的所有數據項的總被訪問次數；根據每個低頻存儲設備的標識符和大數據存儲系統的系統記錄設備中的設備描述信息確定每個低頻存儲設備各自的總存儲容量,和根據大數據存儲系統的系統記錄設備中的設備描述信息大數據存儲系統中所有存儲設備的總數量，計算大數據存儲系統內低頻存儲設備的平衡系數：

其中α0,β0,χ0并且α+β+χ＝1

其中，DLB是大數據存儲系統內低頻存儲設備的平衡系數；

LTN_i為第i個低頻存儲設備的低頻數據項的低頻項數量，LDN為大數據存儲系統中低頻存儲設備的數量；LTS_ij為第i個低頻存儲設備內第j個低頻數據項的存儲尺寸，LS_i為第i個低頻存儲設備的所有低頻數據項的總存儲尺寸，LC_i為第i個低頻存儲設備的總存儲容量，

LTA_ij為第i個低頻存儲設備內第j個低頻數據項的被訪問次數，LA_i為第i個低頻存儲設備的所有低頻數據項的總被訪問次數，LT_i第i個低頻存儲設備的所有數據項的總被訪問次數；

D_total為大數據存儲系統中所有存儲設備的總數量；