[發明專利]在大數據存儲的存儲設備中確定低頻數據項的方法及系統

有效

• 申請號: 201811006475.6
• 申請日: 2018-08-30
• 公開（公告）號: CN109033462B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 廣州思貝守工程咨詢有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/18
• 代理公司: 重慶創新專利商標代理有限公司 50125
• 代理人: 李智祥

本發明公開了一種在用于大數據存儲的存儲設備中確定低頻數據項的方法及系統，其中方法包括：在確定大數據存儲系統內的所有存儲設備中均沒有正在運行的數據訪問操作時，確定每個存儲設備的訪問信息統計文件；基于訪問信息統計文件確定當前的統計時間區間內每個存儲設備的所有數據項中被訪問次數小于低頻次數閾值的多個預選數據項，根據大數據存儲系統的系統記錄設備中的設備描述信息確定每個存儲設備的總存儲容量，根據每個存儲設備的存儲信息區域中的存儲信息文件來確定每個存儲設備的空閑存儲容量，確定每個存儲設備中的每個預選數據項的低頻系數；將每個存儲設備中的多個預選數據項中低頻系數小于低頻系數閾值的預選數據項確定為低頻數據項。

技術領域

本發明涉及大數據存儲領域和云存儲領域，并且更具體地，涉及一種在用于大數據存儲的存儲設備中確定低頻數據項的方法及系統。

背景技術

目前，隨著各種類型的信息設備的使用變得越來越頻繁，數據量正以幾何級數的方式進行爆炸式增加。為了從海量的數據中獲取有用信息，必須對海量的數據進行有效存儲。大數據存儲系統能夠滿足對對海量數據進行有效存儲的需求。然而，在目前的大數據存儲系統中，無法對大數據存儲系統內的存儲設備中的低頻數據項進行識別。通常，由于低頻數據項在存儲設備中逐漸增多，會嚴重降低存儲設備，甚至是大數據存儲系統的數據訪問效率。

發明內容

根據本發明的一個方面，提供一種在用于大數據存儲的存儲設備中確定低頻數據項的方法，所述方法包括：

響應于接收到在大數據存儲系統內用于大數據存儲的多個存儲設備的每個存儲設備中確定低頻數據項的請求，將所述大數據存儲系統從任意的數據請求方所接收的新的數據訪問請求重定向到所述大數據存儲系統的系統緩沖設備而不將所接收的新的數據訪問請求發送給多個存儲設備中的相應的存儲設備，以由所述系統緩沖設備將新的數據訪問請求所包含的查詢條件的描述信息與所述系統緩沖設備的臨時數據項集合中的每個臨時數據項進行內容匹配以確定每個臨時數據項的內容匹配度，從多個臨時數據項中選擇內容匹配度大于匹配度閾值的至少一個選定的臨時數據項，將所選擇的至少一個選定的臨時數據項發送給所述新的數據訪問請求所指示的數據請求方，并且在所述系統緩沖設備的緩沖區內保存所述新的數據訪問請求；

在確定所述大數據存儲系統內的所有存儲設備中均沒有正在運行的數據訪問操作時，獲取所述大數據存儲系統內多個存儲設備中每個存儲設備的運行日志文件，并且基于當前的統計時間區間和每個存儲設備的運行日志文件確定每個存儲設備中存儲的多個數據項的經過統計的訪問信息，根據預先設定的訪問時間間隔的閾值和每個存儲設備中存儲的多個數據項的經過統計的訪問信息確定每個存儲設備的訪問信息統計文件，其中訪問時間間隔是數據項的相鄰的兩次被訪問之間的一段時間；其中所述訪問信息統計文件包括頻率統計表，所述頻率統計表包括多個頻率記錄，其中每個頻率記錄的內容為8元組數據項的標識符、被訪問次數、統計起始時間、統計結束時間、存儲尺寸、大于訪問時間間隔的閾值的次數、最大訪問時間間隔、最小訪問時間間隔；

基于所述訪問信息統計文件確定當前的統計時間區間內每個存儲設備的所有數據項中被訪問次數小于低頻次數閾值的多個預選數據項，根據所述大數據存儲系統的系統記錄設備中的設備描述信息確定每個存儲設備的總存儲容量，根據每個存儲設備的存儲信息區域中的存儲信息文件來確定每個存儲設備的空閑存儲容量，根據下面的公式來確定每個存儲設備中的每個預選數據項的低頻系數：