[發明專利]一種數據寫入方法及裝置

有效

• 申請號: 201710429411.6
• 申請日: 2017-06-08
• 公開（公告）號: CN107273048B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 周明偉;江文龍
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/10
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

本發明公開了一種數據寫入方法及裝置，該方法包獲取待寫入數據，根據該獲取的待寫入數據的數據量，從磁盤存儲系統中確定與該待寫入數據的數據量相匹配的條帶，其中，該磁盤存儲系統包含有多個不同條帶深度的條帶，每個條帶均包含n個數據條帶單元和m個校驗條帶單元，將該待寫入數據切分為n個數據條帶單元，根據糾刪碼算法計算出m個校驗條帶單元，并將n個數據條帶單元和m個校驗條帶單元寫入到確定的條帶。根據待寫入數據集的數據量，選擇合適的條帶深度的條帶，將待寫入數據按照糾刪碼算法寫入到選擇的條帶中，實現在數據量較大時選擇大條帶深度提高吞吐量，數據量較小時選擇小條帶深度實現較低寫入延遲和數據丟失風險的效果。

技術領域

本發明實施例涉及數據存儲技術領域，尤其涉及一種數據寫入方法及裝置。

背景技術

糾刪碼(erasure coding，EC)是一種數據保護方法，它將原始數據分割成數據塊(strip)，將多個數據塊通過算法編碼形成一個或多個冗余數據塊，并將由連續的多個數據塊和相關聯冗余塊組成的條帶(stripe)，存儲在不同的存儲空間，以實現部分存儲空間故障后，數據可重建。糾刪碼技術非常好的折中了磁盤空間利用率和數據可靠性，在分布式存儲系統中得到了廣泛的應用。以圖1為例，D0、D1、D2、D3、D4、D5為數據塊，P0、P1、P2為通過算法計算而得到的冗余數據塊，組成一個糾刪碼存儲組(n+m，n＝6，m＝3)。如圖1中所示，一行9個strip組建一個stripe，這個stripe中任意小于等于3個strip損壞，都可以通過算法還原出損壞的strip。此例子中，每個strip的大小，即為條帶深度。而一個stripe包含的strip個數則為條帶寬度。條帶深度為每個存儲空間(如磁盤)的最小數據io(in/out，輸入輸出)單元，而每個條帶深度＊條帶寬度，則為整個糾刪碼組的最小io單元。例如寫入一批數據，總是按strip切分，通過算法將連續的6個數據strip計算得到3個冗余strip，組成一個stripe，并發的寫入9個磁盤或文件系統。

磁盤的io性能和io的塊大小直接相關，較大的塊大小，可以提高io的吞吐量，降低磁盤定位帶來的性能影響。對于基于糾刪碼技術的存儲系統而言，較大的strip大小，即較大的條帶深度，可以提高每個磁盤的io的性能，特別是連續io時的性能。而整個糾刪碼組的最小io單位為stripe，是由n+m個strip組成(其中包含n個數據strip)。當待寫入數據量不足一個stripe，一般的處理方案有兩種：一、寫入端cache(緩存)住不寫數據，等待數據足夠之后再按stripe方式寫入；二、補足數據足夠一個stripe，寫入磁盤組，記錄此stripe有效數據的量，后續追加寫時講整個stripe或部分讀出，修改parity部分再寫入。方案一由于客戶端的cache，導致這部分數據沒有落入磁盤，從而無法從磁盤中讀取數據，且延時受限于后續數據寫入速度而定，以及系統掉電時會帶來數據丟失風險。方案二由于進行了數據補齊，數據可以即時寫入磁盤中，但此stripe中有部分無效數據，追加數據時需要將原來的stripe讀出，剔除填充數據，并追加有效數據，再將整個stripe寫入磁盤中。這個過程存在數據一致性風險(特別是磁盤組分布在分布式存儲系統中時，如部分strip完成寫入，而部分strip寫入失敗，導致整個stripe數據是錯亂的)，且消耗了大量額外的磁盤io性能。

發明內容

本發明實施例提供一種數據寫入方法及裝置，用以實現動態調整數據條帶深度，實現數據量較小時有較低數據寫入延遲和數據丟失風險的效果。

本發明實施例提供的一種數據寫入方法，包括：

獲取待寫入數據；

根據所述獲取的待寫入數據的數據量，從磁盤存儲系統中確定與所述待寫入數據的數據量相匹配的條帶，其中，所述磁盤存儲系統包含有多個不同條帶深度的條帶，每個條帶均包含n個數據條帶單元和m個校驗條帶單元；