[發明專利]一種數據存儲方法、裝置和系統

有效

• 申請號: 201410627557.8
• 申請日: 2014-11-10
• 公開（公告）號: CN105653524B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 張信之
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/182;G06F3/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本發明提供了一種數據存儲方法、裝置和系統，部署的數據存儲系統包括硬盤驅動器(HDD)和固態硬盤(SSD)，還包括監控調度中心；監控調度中心收集所述HDD和SSD上各數據文件的訪問頻率信息，依據訪問頻率信息將各數據文件分為冷數據和熱數據；調度熱數據到SSD以及調度冷數據到HDD。本發明提供的HDD及SSD異構存儲的方式，能夠在滿足性能需要的前提下，提高可運營性及降低成本。

【技術領域】

本發明涉及計算機應用技術領域，特別涉及一種數據存儲方法、裝置和系統。

【背景技術】

HBase是一個分布式的、高性能、面向列的開源數據庫，利用HBase技術可在廉價PC服務器上搭建起大規模結構化存儲集群。現有HBase的數據采用如圖1中所示的存儲方式，即每個數據文件保存在HDD(Hard Disk Drive，硬盤驅動器)上，以HDD作為數據存儲介質。HDD雖然具有容量大和價格低的優勢，但性能較低，當整個HBase集群的性能無法滿足應用的需要時，需要升級HDD到SSD(Solid State Drive，固態硬盤)來滿足性能需要，即采用如圖2中所示的存儲方式，每個數據文件保存在SSD上。在總體容量不變的情況下，將需要更多數量的SSD。然而，SSD雖然具有性能高的優勢，但容量小且價格高，這就會造成機房中機器數量更多、可運維性降低且整體成本較高。

【發明內容】

有鑒于此，本發明提供了一種數據存儲方法、裝置和系統，在滿足性能需要的前提下，提高可運營性及降低成本。

具體技術方案如下：

本發明提供了一種數據存儲的方法，部署的數據存儲系統包括硬盤驅動器HDD和固態硬盤SSD；所述方法包括：

收集所述HDD和SSD上各數據文件的訪問頻率信息，依據訪問頻率信息將各數據文件分為冷數據和熱數據；

調度熱數據到SSD以及調度冷數據到HDD。

根據本發明一優選實施方式，所述HDD的總存儲容量大于所述SSD的總存儲容量。

根據本發明一優選實施方式，所述HDD與所述SSD的總存儲容量比例約為8:2。

根據本發明一優選實施方式，所述依據訪問頻率信息將各數據文件分為冷數據和熱數據包括：

依據訪問頻率信息對各數據文件進行排序，將排在前M個的數據文件確定為熱數據，所述前M個數據文件的大小小于或等于所述SDD的總存儲容量。

根據本發明一優選實施方式，所述調度熱數據到SSD以及調度冷數據到HDD包括：

按照一定的順序對當前存儲在HDD上的熱數據進行調度，將被調度的數據文件轉存到當前具有足夠存儲空間的SSD；以及，

按照一定的順序對當前存儲在SSD上的冷數據進行調度，將被調度的數據文件轉存到當前具有足夠存儲空間的HDD。

根據本發明一優選實施方式，所述一定的順序包括：

按照隨機挑選出的順序，按照所在HDD或SSD編號的順序或者按照訪問頻率的順序。

根據本發明一優選實施方式，在將被調度的數據文件轉存到SSD上時，優選轉存到當前負載最小的SSD上；

在將被調度的數據文件轉存到HDD上時，優先轉存到當前負載最小的HDD上。

本發明提供了一種數據存儲的裝置，該裝置應用于部署了HDD和SSD的數據存儲系統，所述裝置包括：

收集單元，用于收集所述HDD和SSD上各數據文件的訪問頻率信息；

判別單元，用于依據訪問頻率信息將所述各數據文件分為冷數據和熱數據；