[發明專利]存儲資源管理方法、裝置、電子設備及電子設備、系統

有效

• 申請號: 201710832001.6
• 申請日: 2017-09-15
• 公開（公告）號: CN109508140B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 周泰
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 栗若木;龍洪

一種存儲資源管理方法、裝置、電子設備及電子設備、系統，應用于分布式存儲系統的存儲資源管理，其中，所述分布式存儲系統以固態硬盤作為寫緩存；所述存儲資源管理方法包括：刪除所述固態硬盤中預定范圍的存儲空間內的數據；刪除數據后將所述預定范圍的存儲空間全部或部分識別成新增的存儲介質，將所述新增的存儲介質的信息上報給所述分布式存儲系統中的管理節點。本申請至少一個實施例能夠提高存儲資源利用率。

技術領域

本發明涉及分布式存儲領域，尤其涉及一種存儲資源管理方法、裝置、電子設備及電子設備、系統。

背景技術

谷歌文件系統(Google File System，GFS)奠定了現代大規模分布式存儲系統的基石，阿帕奇軟件基金頂級項目Hadoop的重要組件Hadoop分布式文件系統(HadoopDistributed File System，HDFS)是類GFS的系統，已經廣泛運用在學術界和工業界。

如圖1所示，典型分布式存儲系統主要包含三個模塊，以三種角色部署在由普通商用服務器構成的集群上。分布式存儲系統的三個模塊是指：

客戶端庫(Clients)：包括多個客戶端(Client)，為用戶提供訪問分布式存儲系統的各種接口；

數據節點(DataNode)：數據塊管理模塊，管理分布式存儲系統的數據塊及相關元數據，執行管理節點指派的任務；

管理節點，比如但不限于是名字節點(NameNode)：文件系統命名空間管理模塊，管理分布式存儲系統的元數據，如文件名到數據塊元數據的映射等。

DataNode內部將多塊硬盤(一般是串行高級技術附件(Serial AdvancedTechnology Attachment，SATA)硬盤驅動器(Hard Disk Drive，HDD))組織成單一邏輯存儲(Single Logical Storage)資源池，用來存儲用戶數據，為 Clients的讀/寫數據的請求服務；DataNode會將磁盤容量信息和存儲的數據塊信息上報管理節點，供管理節點進行決策。這種模型下，DataNode對外暴露的存儲介質是單一類型的，一般是SATA HDD。

為了保證性能，一般情況下寫請求落到DataNode的頁緩存(pagecache) 里就認為寫操作成功，操作系統會異步地把pagecache里的數據持久化到物理設備上。如果在異步持久化尚未發生之前，系統掉電重啟，會導致部分提交(commit)給用戶的數據丟失。

為了保證數據安全性和寫性能，目前的一種解決方案是在分布式存儲系統的DataNode或相當于DataNode的節點，比如塊服務器(Chunkserver)上增加固態硬盤(SolidState Drive，SSD)作為寫緩存(Cache)，用戶數據寫入以直接(direct)、同步(sync)的方式寫到寫Cache里，Chunkserver異步將寫Cache里的數據轉儲到SATA HDD上。

但是，該解決方案至少存在以下問題：受限于上層應用訪問的壓力，SSD 的資源利用率比較低，得不到充分利用。

發明內容

本申請提供一種存儲資源管理方法、裝置、電子設備及電子設備、系統，能夠提高存儲資源利用率。

本申請采用如下技術方案。

一種分布式存儲系統中的存儲資源管理方法，其中，所述分布式存儲系統以固態硬盤作為寫緩存；所述存儲資源管理方法包括：

刪除所述固態硬盤中預定范圍的存儲空間內的數據；

刪除數據后將所述預定范圍的存儲空間全部或部分識別成新增的存儲介質，將所述新增的存儲介質的信息上報給所述分布式存儲系統中的管理節點。

其中，所述固態硬盤的存儲空間中可以包括多個依次排列的文件；