[發明專利]一種數據存儲方法、裝置和系統

有效

• 申請號: 201410627557.8
• 申請日: 2014-11-10
• 公開（公告）號: CN105653524B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 張信之
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/182;G06F3/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種數據存儲的方法，應用于HBase集群，其特征在于，所述HBase集群部署的數據存儲系統包括硬盤驅動器HDD和固態硬盤SSD；所述SSD和HDD共同分擔數據文件的存儲；所述方法包括：

周期性地收集所述HDD和SSD上各數據文件的訪問頻率信息，依據訪問頻率信息將各數據文件分為冷數據和熱數據；

調度熱數據到SSD以及調度冷數據到HDD。

2.根據權利要求1所述的方法，其特征在于，所述HDD的總存儲容量大于所述SSD的總存儲容量。

3.根據權利要求2所述的方法，其特征在于，所述HDD與所述SSD的總存儲容量比例約為8:2。

4.根據權利要求1所述的方法，其特征在于，所述依據訪問頻率信息將各數據文件分為冷數據和熱數據包括：

依據訪問頻率信息對各數據文件進行排序，將排在前M個的數據文件確定為熱數據，所述前M個數據文件的大小小于或等于所述SDD的總存儲容量。

5.根據權利要求1至4任一權項所述的方法，其特征在于，所述調度熱數據到SSD以及調度冷數據到HDD包括：

按照一定的順序對當前存儲在HDD上的熱數據進行調度，將被調度的數據文件轉存到當前具有足夠存儲空間的SSD；以及，

按照一定的順序對當前存儲在SSD上的冷數據進行調度，將被調度的數據文件轉存到當前具有足夠存儲空間的HDD。

6.根據權利要求5所述的方法，其特征在于，所述一定的順序包括：

按照隨機挑選出的順序，按照所在HDD或SSD編號的順序或者按照訪問頻率的順序。

7.根據權利要求5所述的方法，其特征在于，在將被調度的數據文件轉存到SSD上時，優選轉存到當前負載最小的SSD上；

在將被調度的數據文件轉存到HDD上時，優先轉存到當前負載最小的HDD上。

8.一種數據存儲的裝置，應用于HBase集群，其特征在于，該裝置應用于所述HBase集群，所述HBase集群部署了包括HDD和SSD的數據存儲系統，所述SSD和HDD共同分擔數據文件的存儲；所述裝置包括：

收集單元，用于周期性地收集所述HDD和SSD上各數據文件的訪問頻率信息；

判別單元，用于依據訪問頻率信息將所述各數據文件分為冷數據和熱數據；

調度單元，用于調度熱數據到SSD以及調度冷數據到HDD。

9.根據權利要求8所述的裝置，其特征在于，所述判別單元，具體用于依據訪問頻率信息對所述各數據文件進行排序，將排在前M個的數據文件確定為熱數據，所述前M個數據文件的大小小于或等于所述SDD的總存儲容量。

10.根據權利要求8所述的裝置，其特征在于，所述調度單元，具體用于按照一定的順序對當前存儲在HDD上的熱數據進行調度，將被調度的數據文件轉存到當前具有足夠存儲空間的SSD；以及，

按照一定的順序對當前存儲在SSD上的冷數據進行調度，將被調度的數據文件轉存到當前具有足夠存儲空間的HDD。

11.根據權利要求10所述的裝置，其特征在于，所述一定的順序包括：

按照隨機挑選出的順序，按照所在HDD或SSD編號的順序或者按照訪問頻率的順序。

12.根據權利要求10所述的裝置，其特征在于，所述調度單元在將被調度的數據文件轉存到SSD上時，優選轉存到當前負載最小的SSD上；在將被調度的數據文件轉存到HDD上時，優先轉存到當前負載最小的HDD上。