[發明專利]一種分布式存儲系統的糾刪碼優化方法

有效

• 申請號: 201710453949.0
• 申請日: 2017-06-15
• 公開（公告）號: CN107094186B
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 陳仲濤
• 申請（專利權）人: 深圳市云舒網絡技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F11/10
• 代理公司: 深圳市鼎智專利代理事務所(普通合伙) 44411
• 代理人: 徐永雷

本發明提供了一種分布式存儲系統的糾刪碼優化方法，該方法利用糾刪碼的特點，減小糾刪碼條帶的大小。小的條帶更能滿足滿條帶寫，對于未滿條帶的部分，可以使讀取補齊的數據最小化。大于大IO，小條帶會把請求數據切分成很多個條帶，利用內存引用技術，進行邏輯層的小條帶合并，保證了大IO會把被切分，性能不受影響。本糾刪碼優化方法把糾刪碼的條帶最小化，減少了未滿條帶寫時讀取補齊數據的數據量。前段不需要設置緩存池也能保證較高的讀寫性能，大大增加了數據的安全性和減少了前段的內存消耗。

技術領域

本發明涉及數據存儲技術領域，具體的說是涉及一種分布式存儲系統的糾刪碼優化方法。

背景技術

隨著信息化時代的來臨，全球數據量正處于爆炸式增長的趨勢。提高存儲系統可靠性以及保障數據可用性已成為企業的研究重點。現有的分布式存儲系統中，絕大多數是通過多副本技術來提升系統可靠性、可用性、性能以及可擴展性。但在大數據時代，存儲規模越來越大，多副本技術的系統開銷將越來越大。相對于副本技術，糾刪碼技術具有更高存儲效率，并且能降低網絡中的數據流量。但糾刪碼需要消耗較大的CPU資源，讀寫流程比較復雜，需要對齊讀寫。現有的技術糾刪碼存儲系統中，大多需要在前段實現緩存池，先把數據寫到緩存池中，等滿足一定條件時再把緩存池中的數據刷到后端存儲。這種方法可以保證大部分寫請求都是滿條帶寫，避免了傳統寫操作前需要先讀取未滿條帶數據的步驟，但緩存可能造成數據丟失，大大降低了數據的安全性。

發明內容

針對現有技術中的不足，本發明要解決的技術問題在于提供了一種分布式存儲系統的糾刪碼優化方法。

為解決上述技術問題，本發明通過以下方案來實現：一種分布式存儲系統的糾刪碼優化方法，該方法是利用糾刪碼的特點，減小糾刪碼條帶的大小，小的條帶更能滿足滿條帶寫，對于未滿條帶的部分，使讀取補齊的數據最小化；大于大IO，小條帶把請求數據切分成很多個條帶，利用內存引用技術，進行邏輯層的小條帶合并，保證了大IO被切分，性能不受影響；所述方法把糾刪碼的條帶最小化，減少了未滿條帶寫時讀取補齊數據的數據量，前段不需要設置緩存池也能保證較高的讀寫性能，增加數據的安全性和減少了前段的內存消耗；

所述方法包括分布式存儲系統，該分布式存儲系統包括：

控制主機：所述控制主機生成虛擬磁盤，作為存儲數據路徑的前端主機，完成數據接收、轉發功能；

存儲主機：所述存儲主機分布于存儲系統中，數據最終的存放地點將存儲資源抽象成多個存儲組件，每個組件由大型的稀疏文件鏈組成；

所述方法還包括(k+r，k)糾刪碼存儲虛擬磁盤，該(k+r，k)糾刪碼存儲虛擬磁盤包括k 個數據組件，r個校驗組件；

(k+r，k)糾刪碼虛擬磁盤的一個糾刪碼條帶包含k個數據塊和r個校驗塊，數據塊的大小為n字節；前段虛擬磁盤寫入k*n個字節的數據，會被拆分成k份，分別寫入到k個數據組件中，根據糾刪碼算法，計算出r個校驗數據塊，分別寫入到r個校驗組件中；

糾刪碼寫入時需要計算校驗數據，數據偏移量和數據長度必須對齊數據塊大小，如果沒有滿足該條件必須先到后端組件上讀取數據補齊條帶；如果數據偏移量沒有對齊，需要讀取條帶頭，如果數據長度沒有對齊，需要讀取條帶尾；

所述方法還包括糾刪碼數據拆分重組方法，該糾刪碼數據拆分重組方法是通過多個數據條帶在內存中進行數據拆分重組后，只需進行一次糾刪碼運算；

所述分布式存儲系統的糾刪碼優化方法如下：

①：基本變量說明，數據塊個數k為4，校驗塊個數為2，數據大小n為1K，條帶大小s為n*k＝4K，數據偏移量為offset，數據長度為length；