[發明專利]云存儲系統中分層存儲的數據熱度計算方法和裝置有效
| 申請號: | 201510417521.1 | 申請日: | 2015-07-15 |
| 公開(公告)號: | CN105094700B | 公開(公告)日: | 2018-05-01 |
| 發明(設計)人: | 于濤;張在貴 | 申請(專利權)人: | 浪潮(北京)電子信息產業有限公司 |
| 主分類號: | G06F3/06 | 分類號: | G06F3/06 |
| 代理公司: | 北京安信方達知識產權代理有限公司11262 | 代理人: | 解婷婷,曲鵬 |
| 地址: | 100085 北京市海*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 存儲系統 分層 存儲 數據 熱度 計算方法 裝置 | ||
技術領域
本發明涉及云存儲技術領域,尤其涉及一種云存儲系統中分層存儲的數據熱度計算方法和裝置。
背景技術
隨著云存儲技術的快速發展,存儲系統的高并行性、高可靠性和高性價比變得越來越重要。分層存儲系統是基于不同存儲設備的物理特性,將不同性能、不同可靠性和不同價格的存儲設備組合在一起構成的存儲系統,用多層存儲介質來存放訪問熱度不同的數據,將高性能高成本的存儲設備空間分配給高熱度的數據,低熱度的數據則遷移到低性能低成本的存儲設備中,進而釋放高性能高成本的存儲空間,使得存儲系統的成本接近于低成本的存儲設備,而存儲系統的整體性能傾向于高性能的存儲設備。
目前,現有技術雖然提出了一些分層存儲系統,但其數據遷移策略中的熱度值統計或是基于最近訪問次數,或者僅考慮歷史訪問頻度。例如,SANBoost系統使用SSD設備和磁盤構成兩層存儲系統,并引入一個遷移閾值以減少數據遷移量,熱度值統計是基于最近訪問次數,只有用戶訪問達到一定次數后才進行數據遷移。又如,基于存儲空間的高低水位法,熱度值統計是基于歷史訪問頻度,根據磁盤的使用情況進行數據遷移。
雖然上述兩種數據遷移策略具有最大利用磁盤空間的優點,但其熱度值統計存在不合理之處。例如,對于基于最近訪問次數的熱度值統計,沒有考慮對象訪問一次后可能長久不會被訪問的情況,對于基于歷史訪問頻度的熱度值統計,沒有考慮該歷史多次訪問可能是很久之前訪問過多次的情況。因此,現有熱度值統計在有些應用場景下是不準確的。
發明內容
為了解決上述技術問題,本發明提供一種云存儲系統中分層存儲的數據熱度計算方法和裝置,以克服現有熱度值統計在有些應用場景下不準確的技術缺陷。
為了達到本發明目的,本發明提供了一種云存儲系統中分層存儲的數據熱度計算方法,系統運行中,按照時間順序依次建立若干個命中集合,并在每個命中集合的生命周期內,在命中集合中記錄每個對象操作的對象標識;所述方法包括:
選定一預遷移對象;
確定當前時刻所在的命中集合,記為命中集合N;
根據命中集合N和預設的命中集合歷史數M,確定統計集合,所述統計集合為:命中集合N、命中集合N-1、命中集合N-2、……、命中集合N-M;
判斷所述預遷移對象在所述統計集合的每個命中集合中是否有對象標識,有則設置命中集合的命中值D=1,沒有則設置命中集合的命中值D=0;
根據各個命中集合的命中值D和預設的各個命中集合的權重值Q,計算所述預遷移對象的數據熱度值R,
R=DN×QN+DN-1×QN-1+DN-2×QN-2+……+DN-M×QN-M。
進一步地,所述命中集合的生命周期是預先設置的時間區間;在命中集合中記錄對象操作的對象標識時,每個命中集合中同一個對象的對象標識只記錄一次。
進一步地,所述命中集合歷史數M用于表示本次計算數據熱度值所考慮的時間跨度和時間程度,所述統計集合表示本次計算數據熱度值所基于的命中集合。
進一步地,所述命中集合的權重值Q用于表示命中集合的熱度,不同的命中集合具有不同的權重值。
進一步地,各個命中集合的權重值采用權重值衰減比例的方式設置,即以當前命中集合為基點,各個命中集合的權重值由近及遠按照設定的衰減比例進行衰減。
為了達到本發明目的,本發明還提供了一種云存儲系統中分層存儲的數據熱度計算裝置,包括:
命中集合模塊,用于在系統運行中,按照時間順序依次建立若干個命中集合,并在每個命中集合的生命周期內,在命中集合中記錄對象操作的對象標識;
統計集合模塊,用于確定當前時刻所在的命中集合,記為命中集合N,并根據命中集合N和預設的命中集合歷史數M,確定統計集合,所述統計集合為:命中集合N、命中集合N-1、命中集合N-2、……、命中集合N-M;
判斷模塊,用于判斷所述預遷移對象在所述統計集合的每個命中集合中是否有對象標識,有則設置命中集合的命中值D=1,沒有則設置命中集合的命中值D=0;
計算模塊,用于根據各個命中集合的命中值D和預設的各個命中集合的權重值Q,計算所述預遷移對象的數據熱度值R,
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于浪潮(北京)電子信息產業有限公司,未經浪潮(北京)電子信息產業有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201510417521.1/2.html,轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置





