[發明專利]分布式存儲系統下基于快照的數據處理方法和裝置

有效

• 申請號: 202010159285.9
• 申請日: 2020-03-09
• 公開（公告）號: CN111399774B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 雷俊;廖俊威;王文斌;劉名欣;肖永玲;張旭明;王豪邁;胥昕
• 申請（專利權）人: 星辰天合（北京）數據科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 肖璐

本發明公開了一種分布式存儲系統下基于快照的數據處理方法和裝置。其中，該方法包括：獲取第一資源池中的第一塊設備對應的第一快照；對所述第一快照在第二資源池中進行克隆，生成所述第二資源池中的第二塊設備；當接收到寫入請求時，在所述第二塊設備中創建新對象，并在所述新對象中直接寫入所述寫入請求中的待寫入數據。本發明解決了現有技術中對塊設備的快照進行跨資源池克隆后數據讀寫性能較低的技術問題。

技術領域

本發明涉及分布式存儲領域，具體而言，涉及一種分布式存儲系統下基于快照的數據處理方法和裝置。

背景技術

目前，一些存儲系統能夠支持塊設備的跨資源池克隆功能，即在新的資源池中克隆原資源池中塊設備的快照。目前Ceph分布式存儲系統快照采用的是COW的方式，對一個塊設備執行跨資源池進行克隆操作可如圖1所示，將虛擬機1的跨設備進行快照操作后，進行克隆操作，得到Pool中的Clone1。當要向其中寫入數據時，具體步驟可如圖2所示，克隆卷(即CLone1)中寫入4K數據，該4K數據所對應的對象在pool2中是不存在的，因此還需要把對應源對象(一般是4M)的數據從pool1中讀出來，在pool2中新建一個對象，將讀出來的4M數據和業務4K數據合并寫入到新建的對象中。

上述方式的缺陷在于，每次寫數據的時候，無論數據大小，都要先把完整的4M對象數據從快照所在的原資源池中讀出來，再寫入對象到克隆所在資源池，然后再寫入新的數據，這個過程需要讀一次寫兩次，會導致性能急劇下降，且會導致克隆資源池的空間占用率快速升高，最終導致讀寫性能下降。

針對現有技術中對塊設備的快照進行跨資源池克隆后數據讀寫性能較低的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種分布式存儲系統下基于快照的數據處理方法和裝置，以至少解決現有技術中對塊設備的快照進行跨資源池克隆后數據讀寫性能較低的技術問題。

根據本發明實施例的一個方面，提供了一種分布式存儲系統下基于快照的數據處理方法，包括：獲取第一資源池中的第一塊設備對應的第一快照；對所述第一快照在第二資源池中進行克隆，生成所述第二資源池中的第二塊設備；當接收到寫入請求時，在所述第二塊設備中創建新對象，并在所述新對象中直接寫入所述寫入請求中的待寫入數據。

進一步地，所述第二塊設備用于掛載給虛擬機使用，當所述虛擬機的客戶端接收到寫入操作時，向所述第二資源池發送所述寫入請求。

進一步地，所述第一資源池由全閃存介質盤組成，所述第二資源池由硬盤驅動器磁盤介質組成。

進一步地，上述方法還包括：接收讀取請求；判斷所述讀取請求所指示的待讀取數據是否處于所述第二資源池中的第二塊設備中；根據判斷結果從所述第二塊設備或所述第一塊設備中獲取所述待讀取數據。

進一步地，所述讀取請求包括待讀取數據在塊設備中的起始位置和長度，判斷所述讀取請求所指示的待讀取數據是否處于所述第二資源池中的第二塊設備中，包括：將所述起始位置和所述長度作為第一窗口與所述第二塊設備對應的第二窗口進行滑動匹配；確定所述第一窗口和所述第二窗口重合的部分為存在于所述第二塊設備的待讀取數據，所述第一窗口和所述第二窗口不重合的部分為不存在于所述第二塊設備的待讀取數據。

進一步地，根據判斷結果從所述第二塊設備或所述第一塊設備中獲取所述讀取數據，包括：從所述第二塊設備中獲取存在于所述第二塊設備的待讀取數據；以及從所述第一塊設備中獲取不存在于所述第二塊設備的待讀取數據。

根據本發明實施例的一個方面，提供了一種分布式存儲系統下基于快照的數據處理裝置，包括：獲取模塊，用于獲取第一資源池中的第一塊設備對應的第一快照；生成模塊，用于對所述第一快照在第二資源池中進行克隆，生成所述第二資源池中的第二塊設備；寫入模塊，用于當接收到寫入請求時，在所述第二塊設備中創建新對象，并在所述新對象中直接寫入所述寫入請求中的待寫入數據。