[發(fā)明專利]一種基于自適應(yīng)存儲冗余策略的存儲方法

有效

• 申請?zhí)枺?/td>: 202010187685.0
• 申請日: 2020-03-17
• 公開（公告）號: CN111414271B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計）人: 劉浪
• 申請（專利權(quán)）人: 上海愛數(shù)信息技術(shù)股份有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F11/14;G06F3/06
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 楊宏泰

本發(fā)明涉及一種基于自適應(yīng)存儲冗余策略的存儲方法，該存儲方法包括以下步驟：部署步驟：分別設(shè)置條帶化存儲方式中第一個分塊和后續(xù)分塊的最大容量；部署存儲冗余策略配置信息，分別設(shè)定第一個分塊和后續(xù)分塊的存儲冗余策略；數(shù)據(jù)寫入步驟：通過條帶化存儲方式，并根據(jù)部署的存儲冗余策略，分別將數(shù)據(jù)的第一個分塊和后續(xù)分塊寫入對應(yīng)存儲池中；數(shù)據(jù)讀取步驟：通過條帶化存儲方式，并根據(jù)部署的存儲冗余策略，分別將數(shù)據(jù)的第一個分塊和后續(xù)分塊從對應(yīng)存儲池中讀取，與現(xiàn)有技術(shù)相比，本發(fā)明具有無需花費大量時間遷移原先已經(jīng)寫入的副本數(shù)據(jù)，且保證原先副本數(shù)據(jù)的可用性等優(yōu)點。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲領(lǐng)域的數(shù)據(jù)冗余策略，尤其是涉及一種基于自適應(yīng)存儲冗余策略的存儲方法。

背景技術(shù)

近年來，非結(jié)構(gòu)化數(shù)據(jù)呈爆炸式、火箭式增長。傳統(tǒng)存儲在面對非結(jié)構(gòu)化數(shù)據(jù)的時候，是心有余而力不足的。越來越多的企業(yè)級業(yè)務(wù)系統(tǒng)，在架構(gòu)時，選擇分布式存儲系統(tǒng)用來存儲它們的非結(jié)構(gòu)化數(shù)據(jù)。

企業(yè)級業(yè)務(wù)系統(tǒng)在規(guī)劃它們的存儲系統(tǒng)時，會從擴展性、性價比、高可靠性等多方面進行考量。在初期時，往往會部署較小規(guī)模的存儲集群滿足企業(yè)近期存儲的需求，通常三節(jié)點的集群可以滿足高可用，高可擴展性的要求。但是三節(jié)點的集群存儲冗余策略基本都是副本冗余策略的，很少可以采用糾刪碼(EC)冗余策略的。隨著數(shù)據(jù)量的膨脹式增長，后續(xù)的存儲集群規(guī)模越擴越大，采用副本冗余策略成本太高，逐步地會考慮采用糾刪碼冗余策略。

以副本冗余策略中三副本和糾刪碼冗余策略中EC 4+2(4個數(shù)據(jù)塊，2個校驗塊)為例進行對比，三副本的存儲利用率為三分之一，而EC 4+2的存儲利用率為三分之二，糾刪碼的存儲利用率為三副本的兩倍。但是，如果一開始企業(yè)就選擇糾刪碼的冗余策略，通常需要部署6個節(jié)點，而部署三副本，通常只需要部署3個節(jié)點，那么初期的規(guī)劃成本就要高出一倍。

針對這種企業(yè)級業(yè)務(wù)的需求，初期成本投入成本低一些，部署副本冗余策略，后期逐步擴展到可支持糾刪碼的規(guī)模時，能夠部署糾刪碼策略。這時存在一個問題是：原先大量的副本冗余策略的數(shù)據(jù)怎么處理？大多情況下采用數(shù)據(jù)遷移的方法，將副本數(shù)據(jù)重新上傳一遍。這種方法周期長，且需要停止業(yè)務(wù)，等全部遷移完成后才能恢復(fù)業(yè)務(wù)。數(shù)據(jù)規(guī)模較大時，可能需要幾十天的時間進行數(shù)據(jù)遷移，業(yè)務(wù)停止時間周期太長，恐怕難以接受。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種無需花費大量時間遷移原先已經(jīng)寫入的副本數(shù)據(jù)，且保證原先副本數(shù)據(jù)的可用性的基于自適應(yīng)存儲冗余策略的存儲方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：

一種基于自適應(yīng)存儲冗余策略的存儲方法，該存儲方法包括以下步驟：

部署步驟：分別設(shè)置條帶化存儲方式中第一個分塊和后續(xù)分塊的最大容量；部署存儲冗余策略配置信息，分別設(shè)定第一個分塊和后續(xù)分塊的存儲冗余策略；

數(shù)據(jù)寫入步驟：通過條帶化存儲方式，并根據(jù)部署的存儲冗余策略，分別將數(shù)據(jù)的第一個分塊和后續(xù)分塊寫入對應(yīng)存儲池中；

數(shù)據(jù)讀取步驟：通過條帶化存儲方式，并根據(jù)部署的存儲冗余策略，分別將數(shù)據(jù)的第一個分塊和后續(xù)分塊從對應(yīng)存儲池中讀取。

該自適應(yīng)存儲冗余策略包括存儲策略轉(zhuǎn)變自適應(yīng)和大小對象自適應(yīng)；

所述的存儲策略轉(zhuǎn)變自適應(yīng)具體包括：

S101：執(zhí)行部署步驟，設(shè)置第一個分塊和后續(xù)分塊的最大容量，并設(shè)定第一個分塊和后續(xù)分塊的存儲冗余策略采用相同的存儲策略；

S102：執(zhí)行數(shù)據(jù)寫入步驟和/或數(shù)據(jù)讀取步驟；

S103：集群規(guī)模擴展，再次執(zhí)行部署步驟，改變后續(xù)分塊采用的存儲冗余策略；

S104：執(zhí)行數(shù)據(jù)寫入步驟和/或數(shù)據(jù)讀取步驟；