[發明專利]一種基于CRUSH的數據存儲優化方法和裝置

有效

• 申請號: 201810573067.2
• 申請日: 2018-06-06
• 公開（公告）號: CN108920095B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 陳希;陳俊雄;楊世登;吳志力
• 申請（專利權）人: 深圳市脈山龍信息技術股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市順天達專利商標代理有限公司 44217
• 代理人: 郭偉剛;車大瑩

本發明提供了一種基于CRUSH的數據存儲優化方法，包括：根據數據特征對多個目標數據進行分類存儲；根據所述目標數據所屬的類型，調整CRUSH策略，優化寫操作映射關系；根據調整后的CRUSH策略和優化后的寫操作映射關系，將多個目標數據存儲到相應的磁盤；由此，可以實現更加均衡地分配數據，從而減少client端在存儲對象過程中線程頻繁切換以及內存拷貝等操作，從而達到優化I/O操作，大大提升了磁盤寫入速度的目的。

技術領域

本發明涉及計算機存儲技術領域，尤其涉及一種基于CRUSH的數據存儲優化方法和裝置。

背景技術

現如今，移動互聯網正處于繁榮鼎盛時期，帶動了云計算、物聯網(IoT)、人工智能(AI)等新興產業的飛速發展，隨之而來的是海量非結構化數據的產生，且在呈爆炸式增長。例如當前人們經常訪問的購物網站、視頻網站、以及即時通訊工具等，后端存儲上保存了海量的視頻、圖片資源以及用戶的訪問記錄日志等等。傳統的技術解決方案通常是多臺服務器通過SAN交換網絡同時連接FC光纖存儲(共享存儲型，而非分布式)，然后對外提供服務。采用傳統的技術方案存在多個弊端，如硬件成本費用過高；維護管理多個品牌的SAN存儲網絡存在困難；硬件存儲可能存在單點故障；存儲I/O存在瓶頸等。因為終端用戶的任意操作均涉及到底部存儲的I/O操作，當用戶數越來越多，并發越來越大時，I/O操作就會成為整個系統架構中最大的性能瓶頸。如何提供較廉價的超大容量存儲，并且要支持高性能、高可用、且橫向動態擴展的分布式存儲系統是當前亟需解決的問題。

Ceph文件系統提供了與POSIX兼容的文件系統服務，基于Ceph對象存儲集群之上，其內的文件被映射到Ceph存儲集群內的對象。客戶端可以把此文件系統掛載在內核對象或用戶空間文件系統上。

Ceph本地存儲接口為了支持事務，引入了日志(Journal)機制。所有的寫入操作都需要先記錄日志，再寫入本地文件系統，然后寫PG Log。簡單來說就是一份數據都需要寫兩遍，日志和本地文件系統，然而本地文件系統如ext3/ext4/xfs默認也是都是寫日志的。這就導致在大規模連續I/O操作的情況下，實際磁盤I/O顯示很高，但性能卻表現一般。因為有一半的I/O是在寫日志操作。另外，Ceph在寫操作過程中存在IO路徑冗長的問題，以osd為例，一個I/O需要經過消息隊列、OSDs、FileJournal、本地存儲接口多個模塊才能完成，每個模塊之間都涉及到隊列和線程切換，部分模塊在對IO進行處理時還要進行內存拷貝，導致整體性能不高。

發明內容

本發明針對現有的基于Ceph分布式存儲需頻繁記錄日志以及crush算法策略導致磁盤I/O利用率較低的缺陷，提供一種基于CRUSH的數據存儲優化方法和裝置，實現更加均衡地分配數據，從而減少client端在存儲對象過程中線程頻繁切換以及內存拷貝等操作，從而達到優化I/O操作，大大提升了磁盤寫入速度的目的。

一方面，本發明實施例提供一種基于CRUSH的數據存儲優化方法，包括以下步驟：

根據數據特征對多個目標數據進行分類存儲；

根據所述目標數據所屬的類型，調整CRUSH策略；

根據所述目標數據所屬的類型，優化寫操作映射關系；

根據調整后的CRUSH策略和優化后的寫操作映射關系，將多個目標數據存儲到相應的磁盤。

在本發明的基于CRUSH的數據存儲優化方法中，在根據數據特征對多個目標數據進行分類存儲的所述步驟中，如果所述目標數據為對事務有強一致性要求的數據，則將所述目標數據標識為第一類型數據；如果所述目標數據需要記錄的日志數據小于預設值，則將所述目標數據標識為第二類型數據；如果所述目標數據不需要寫日志，則將所述目標數據標識為第三類型數據。