[發明專利]一種云存儲方法、系統和設備

在審

• 申請號: 201810933333.8
• 申請日: 2018-08-16
• 公開（公告）號: CN109144417A
• 公開（公告）日: 2019-01-04
• 發明（設計）人: 程鵬;蔣杰偉;杜翠鳳
• 申請（專利權）人: 廣州杰賽科技股份有限公司;廣州杰賽通信規劃設計院有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 梁順宜;郝傳鑫

本發明公開了一種云存儲方法，包括：判斷待存儲文件中的數據塊是否首次存儲；其中，所述待存儲文件包括若干個預先劃分好的數據塊；當所述待存儲文件的數據塊為首次存儲時，根據訪問頻率確定所述待存儲文件的數據塊的冷熱度；當所述待存儲文件的數據塊為非首次存儲時，根據引用量確定所述待存儲文件的數據塊的冷熱度；根據所述冷熱度確定所述待存儲文件的數據塊的存儲策略，并根據所述存儲策略將所述待存儲文件的數據塊存儲。本發明還公開了一種云存儲系統和一種云存儲設備。采用本發明實施例，能夠對首次和非首次存儲的數據塊性質分情況判斷，并結合時間相關性判斷數據的冷熱度。

技術領域

本發明涉及云存儲技術領域，尤其涉及一種云存儲方法、系統和設備。

背景技術

隨著信息技術的快速發展，數據量呈爆炸性增長。目前我們已經進入了PB級別的數據量時代。數據的驟增，需要存儲技術的快速提升、存儲設備成本的大幅度降低。在這一系列的趨勢下，具有分布式特征的云存儲方法就應運而生。但是云存儲不可避免地產生由于服務器的實效引起的服務終端或者丟失的問題，因此，如何在保證容錯能力的情況下降低空間消耗成為云存儲研究的一個重要方向。副本策略是較早的數據冗余技術，其優勢就是支持高并發訪問，但是劣勢就是存儲開銷較高。與副本策略相比，糾刪碼策略在最近幾年得到重視，其優點就是開銷較低且可以容忍有限范圍內的數據丟失，但是數據的存儲速度、可用性相對于副本策略較低。

根據文件大小對數據訪問的冷熱度進行判斷，基于冷熱度選取合適存儲冗余技術，一般大文件采用糾刪碼，小文件采用副本策略。但是基于網絡編碼技術或者糾刪碼技術，但是隨著時間的推移，寫入的速度會變得越來越慢。對已有冗余技術研究進行梳理，發現存在一些問題和不足，主要表現在：

(1)冗余方法單一。目前市場上的多云存儲方法多采用單一的方法來對數據進行冗余，即只采用副本策略或只采用糾刪碼技術，而這兩種技術各有優缺點。即使有些云存儲方法采用混合冗余技術進行數據存儲，但是其判斷的標準比較簡單，不能反映實際用戶對數據的訪問需求。

(2)沒有從時間相關性看待冷熱數據的問題。單純從引用量和讀寫頻率來判斷數據的冷熱度是不科學的，因為3年前與3個月內的引用量的意義是不同的。

發明內容

本發明實施例的目的是提供一種云存儲方法、系統和設備，能夠對首次和非首次存儲的數據塊性質分情況判斷，并結合時間相關性判斷數據的冷熱度。

為實現上述目的，本發明實施例提供了一種云存儲方法，包括：

判斷待存儲文件中的數據塊是否首次存儲；其中，所述待存儲文件包括若干個預先劃分好的數據塊；

當所述待存儲文件的數據塊為首次存儲時，根據訪問頻率確定所述待存儲文件的數據塊的冷熱度；

當所述待存儲文件的數據塊為非首次存儲時，根據引用量確定所述待存儲文件的數據塊的冷熱度；

根據所述冷熱度確定所述待存儲文件的數據塊的存儲策略，并根據所述存儲策略將所述待存儲文件的數據塊存儲。

與現有技術相比，本發明公開的云存儲方法，首先，判斷待存儲文件中的數據塊是否首次存儲；然后，當首次存儲時，根據訪問頻率確定所述待存儲文件的數據塊的冷熱度，當非首次存儲時，根據引用量確定所述待存儲文件的數據塊的冷熱度；最后，根據所述冷熱度確定所述待存儲文件的數據塊的存儲策略，并根據所述存儲策略將所述待存儲文件的數據塊存儲。解決了現有技術冗余方法單一和沒有從時間相關性看待冷熱數據的問題。能夠對首次和非首次存儲的數據塊性質分情況判斷，并結合時間相關性判斷數據的冷熱度。

作為上述方案的改進，所述判斷待存儲文件中的數據塊是否首次存儲，包括：

判斷待存儲文件中的數據塊是否存在與已存儲文件相同的數據塊；