[發明專利]調整存儲節點副本數量的方法和裝置

在審

• 申請號: 201710982861.8
• 申請日: 2017-10-20
• 公開（公告）號: CN109697018A
• 公開（公告）日: 2019-04-30
• 發明（設計）人: 李希亮
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;楊曉偉

本發明公開了調整存儲節點副本數量的方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：基于預測模型預測存儲節點訪問量；根據預測的存儲節點訪問量調整存儲節點副本的數量；其中，根據歷史數據構建原始序列，對原始序列進行累加生成累加序列，然后對累加序列建立一階微分方程以獲得預測模型。該實施方式能夠節省存儲空間；同時，對于失效存儲節點數據的恢復，基于完全副本冗余技術只需下載一個存儲節點就可以完成恢復過程，降低了系統開銷。

技術領域

本發明涉及計算機技術領域，尤其涉及一種調整存儲節點副本數量的方法和裝置。

背景技術

隨著計算機技術的發展，電子商務系統、財務系統、購票系統等各種服務類系統應運而生，這些系統存在著數據量大、訪問不均勻的特點，例如電子商務系統和財務系統在某些大促日或某些特定時間訪問量會驟然升高；購票系統在假日前后一段時間的訪問量也會驟然升高。這些系統的數據存儲于分布式系統的各個存儲節點中，分布式系統是指建立在網絡之上的軟件系統，在分布式系統中，用戶感覺不到數據是分布的，即用戶不須知道關系是否分割、有無副本、數據存于哪個存儲節點以及在哪個存儲節點上執行等。如果同時出現大量的用戶訪問請求(即訪問量驟然升高)，會使得存儲這些系統數據的存儲節點的負載壓力變大，進而造成響應時間變長。

目前，分布式系統的存儲方式有完全副本冗余機制和糾刪碼技術冗余機制。完全副本冗余機制是指在存儲系統中為同一存儲節點創建多個存儲節點副本以提高數據資源的可用性，且所有的存儲節點均設置相同數量的副本，將每個源數據存儲于一個存儲節點。糾刪碼技術冗余機制，是將f個源數據編碼為n(n>f)個子數據，將n個子數據分別存儲于n個存儲節點，使得用這n個數據中任意f個編碼數據即可重構出原始的f個數據。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

1.對于完全副本冗余機制，存儲節點副本的數量難以確定，若存儲節點副本的數量設置較小，則訪問負載較高、系統吞吐量降低；若存儲節點副本的數量設置較大，則消耗較多的存儲空間；

2.對于糾刪碼技術冗余機制，當存儲節點失效后，恢復數據的過程需要較大的系統開銷，需要根據編碼數據解碼出原始數據。

發明內容

有鑒于此，本發明實施例提供一種調整存儲節點副本數量的方法和裝置，能夠節省存儲空間；降低了系統開銷。

為實現上述目的，根據本發明實施例的一個方面，提供了一種調整存儲節點副本數量的方法。

本發明實施例的一種調整存儲節點副本數量的方法包括：基于預測模型預測存儲節點訪問量；根據預測的所述存儲節點訪問量調整存儲節點副本的數量；其中，根據歷史數據構建原始序列，對所述原始序列進行累加生成累加序列，然后對所述累加序列建立一階微分方程以獲得預測模型。

可選地，基于預測模型預測存儲節點訪問量包括：將存儲節點的歷史訪問數據輸入所述預測模型得到存儲節點預測陣列；對所述存儲節點預測陣列進行一次累減生成預測的所述存儲節點訪問量。

可選地，根據預測的所述存儲節點訪問量調整存儲節點副本的數量包括：基于所述預測模型預測系統訪問量；根據預測的所述存儲節點訪問量和預測的所述系統訪問量計算存儲節點預測熱度；基于所述存儲節點預測熱度調整所述存儲節點副本的數量。

可選地，基于所述預測模型預測系統訪問量包括：將系統的歷史訪問數據輸入所述預測模型得到系統預測陣列；對所述系統預測陣列進行一次累減生成預測的所述系統訪問量。

可選地，所述存儲節點預測熱度根據如下公式確定：其中，H_i表示第i個周期的存儲節點預測熱度，H_j表示存儲節點的平均歷史熱度，m_i表示預測的第i個周期的存儲節點訪問量，N_i表示預測的第i個周期的系統訪問量，0≤p≤1,0≤q≤1，且p+q＝1。