[發明專利]一種用于確定大數據存儲系統的數據平衡性的方法及系統

在審

• 申請號: 201811005484.3
• 申請日: 2018-08-30
• 公開（公告）號: CN109271101A
• 公開（公告）日: 2019-01-25
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 杜廣香
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種用于確定大數據存儲系統的數據平衡性的方法及系統，其中方法包括：在確定所述大數據存儲系統內的所有存儲設備中均沒有正在運行的數據訪問操作時，根據每個存儲設備中存儲的多個數據項的經過統計的訪問信息確定每個存儲設備的訪問信息統計文件；計算大數據存儲系統的平衡系數；當大數據存儲系統的平衡系數大于系統平衡系數閾值時，確定所述大數據存儲系統的數據平衡性處于不平衡狀態。

技術領域

本發明涉及大數據存儲領域和云存儲領域，并且更具體地，涉及一種用于監測、計算或確定大數據存儲系統的數據平衡性的方法及系統。

背景技術

目前，隨著各種類型的信息設備的使用變得越來越頻繁，數據量正以幾何級數的方式進行爆炸式增加。為了從海量的數據中獲取有用信息，必須對海量的數據進行有效存儲。大數據存儲系統能夠滿足對對海量數據進行有效存儲的需求。然而，在目前的大數據存儲系統中，由于每個數據項的被訪問次數不同,從而導致每個存儲設備中不同的數據項的被訪問次數差距會越來越大。進一步地，這種差距會導致存儲設備之間的數據被訪問次數的失衡，進而導致大數據系統的數據平衡性出現失衡的問題。為此，現有技術中存在對監測、計算或確定大數據存儲系統的數據平衡性的需求。

發明內容

根據本發明的一個方面，提供一種用于確定大數據存儲系統的數據平衡性的方法，所述方法包括：

響應于接收到用于確定大數據存儲系統的數據平衡性的請求，將所述大數據存儲系統從任意的數據請求方所接收的新的數據訪問請求重定向到所述大數據存儲系統的系統緩沖設備而不將所接收的新的數據訪問請求發送給多個存儲設備中的相應的存儲設備，以由所述系統緩沖設備將新的數據訪問請求所包含的查詢條件的描述信息與所述系統緩沖設備的臨時數據項集合中的每個臨時數據項進行內容匹配以確定每個臨時數據項的內容匹配度，從多個臨時數據項中選擇內容匹配度大于匹配閾值的至少一個選定的臨時數據項，將所選擇的至少一個選定的臨時數據項發送給所述新的數據訪問請求所指示的數據請求方，并且在所述系統緩沖設備的緩沖區內保存所述新的數據訪問請求；

在確定所述大數據存儲系統內的所有存儲設備中均沒有正在運行的數據訪問操作時，獲取所述大數據存儲系統內多個存儲設備中每個存儲設備的運行日志文件，并且基于當前的統計時間區間和每個存儲設備的運行日志文件確定每個存儲設備中存儲的多個數據項的經過統計的訪問信息，根據每個存儲設備中存儲的多個數據項的經過統計的訪問信息確定每個存儲設備的訪問信息統計文件；其中所述訪問信息統計文件包括數據項統計表，所述數據項統計表包括多個數據項記錄，其中每個數據項記錄的內容為6元組<數據項的標識符、被訪問次數、統計起始時間、統計結束時間、存儲尺寸、存儲起始時間>；

對每個存儲設備的訪問信息統計文件進行解析，將當前的統計時間區間內每個存儲設備的所有數據項中被訪問次數小于低頻次數閾值的數據項確定為低頻數據項，確定每個存儲設備所包括的低頻數據項的低頻項數量；將多個存儲設備中低頻項數量大于低頻設備閾值的存儲設備確定為低頻存儲設備并確定大數據存儲系統中低頻存儲設備的數量；將低頻項數量小于或等于低頻設備閾值的存儲設備確定為非低頻存儲設備并確定大數據存儲系統中非低頻存儲設備的數量；

基于每個低頻存儲設備的訪問信息統計文件，確定每個低頻存儲設備的每個低頻數據項的存儲尺寸和被訪問次數并且確定每個低頻存儲設備的低頻數據項的低頻項數量，基于每個低頻存儲設備的訪問信息統計文件確定每個低頻存儲設備各自的所有數據項的總被訪問次數；根據每個低頻存儲設備的標識符和大數據存儲系統的系統記錄設備中的設備描述信息確定每個低頻存儲設備各自的總存儲容量，

基于每個非低頻存儲設備的訪問信息統計文件，確定每個非低頻存儲設備的每個低頻數據項的存儲尺寸和被訪問次數并且確定每個非低頻存儲設備的低頻數據項的低頻項數量，基于每個非低頻存儲設備的訪問信息統計文件確定每個非低頻存儲設備各自的所有數據項的總被訪問次數；根據每個非低頻存儲設備的標識符和大數據存儲系統的系統記錄設備中的設備描述信息確定每個非低頻存儲設備各自的總存儲容量；