[發明專利]一種用于分布式存儲系統的數據處理方法和系統

有效

• 申請號: 201710475022.7
• 申請日: 2017-06-21
• 公開（公告）號: CN107291391B
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 樊云龍;趙幀龍
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/455;H04L29/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種用于分布式存儲系統的數據處理方法和系統，該方法包括：對分布式存儲系統的待恢復時刻的操作克隆卷創建對應的快照；對操作克隆卷對應的快照進行克隆，創建第一克隆卷；切換第一克隆卷作為當前操作卷。通過對待恢復時刻的操作克隆卷進行創建快照，并對該快照進行克隆，創建第一克隆卷，并以第一克隆卷作為當前操作卷，從而建立克隆卷和快照的鏈接關系，由于克隆卷是可以進行寫操作的，從而在進行快照恢復時，避免了對快照數據的全量拷貝，從而僅涉及元數據的修改，實現了快照的快速恢復，而無需將大量的數據寫回源卷，進而避免了快照恢復受限于底層磁盤寫入速度的限制，降低了給磁盤的寫壓力。

技術領域

本發明涉及存儲系統技術領域，特別是涉及一種用于分布式存儲系統的數據處理方法和系統。

背景技術

在云計算環境中一個重要的技術是硬件和儲存資源的虛擬化,而虛擬機的快照可以提升云端平臺的服務質量。分布式存儲系統CEPH致力于提供高擴展性、高可靠性、高性能的分布式存儲系統，其提供支持文件系統，塊存儲，對象存儲；CEPH依靠其提供的統一存儲系統，被廣泛應用于云數據中心建設中，其中塊存儲以其穩定性被生產系統所部署。CEPH提供通過內核模塊或者用戶態調用librbd庫兩種用法使用其塊存儲，CEPH中的塊設備的表現為一個RBD(Rados Block Device)image，其中rbd是Linux驅動和QEMU/KVM操作RBD image的用戶態工具。

快照是云數據中心的基本業務之一，是記錄虛擬機某一運行時刻的狀態集合，用于后續的快照恢復操作。CEPH提供RBD塊設備的快照，即rbd的snap操作，采用的是COW機制，與此對應的是CEPH也支持一個非常好的特性，以COW(寫時復制)的方式從rbdsnap創建克隆，在CEPH中被稱為快照分層技術，本質類似鏈接克隆操作。分層特性允許用戶創建多個CEPH RBD克隆實例。這些特性應用于OpenStack等云平臺中，快照是只讀的，但克隆是可以寫的。

接下來，對RBD現有快照方案進行介紹。首先，明確以下幾個名詞：image，CEPH集群中的一個卷，是CEPH塊設備資源的對外表現；base image，源卷，未進行過任何的快照操作的卷；snap，對image創建快照后產生的快照卷，只讀；clone，對snap進行的一次鏈接克隆操作，可寫；rollback，快照恢復，即將image恢復到某一個快照時刻；flatten，拍平，即將快照鏈中父節點的數據全部合并到clone的操作；protect/unprotect，保護/解保護快照，保護狀態的快照不允許刪除，需要解保護。

對于CEPH的原生快照方案，如圖1所示：CEPH集群中存在一個base image，創建了快照snap1，隨后更新位置1和2的數據，snap操作會從base image中位置1和2讀取數據并拷貝至快照snap1中，然后更新base image中位置1和2的數據。接下來恢復快照snap1，CEPH原生的RBD快照恢復提供了rollback操作，rollback首先會將snap1中位置1和2的數據拷貝并寫入base image的位置1和2，從而完成rollback操作。由此可見，RBD快照恢復的rollback操作會將恢復快照時刻的快照數據全部拷貝并回填寫入baseimage相應的位置上。若待恢復快照時刻寫入了大量的數據竟會導致快照恢復出現大量的來自快照到baseimage的數據寫入，而底層磁盤的寫入速度是有限的，將會導致快照恢復耗時，其時間依賴于恢復快照時刻的數據量與磁盤寫入的速率，呈正相關性，恢復快照操作將會引起恢復時刻的快照數據全量拷貝至原鏡像文件中，會給磁盤帶來嚴重的寫壓力。

因此，如何提供一種快照恢復的方法，能夠降低恢復快照操作給磁盤帶來的壓力，是本領域技術人員目前需要解決的技術問題。

發明內容

本發明的目的是提供一種用于分布式存儲系統的數據處理方法和系統，能夠降低恢復快照操作給磁盤帶來的壓力。

為解決上述技術問題，本發明提供了如下技術方案：

一種用于分布式存儲系統的數據處理方法，包括：