[發明專利]自適應的數據恢復流控方法、裝置、電子設備及存儲介質

有效

• 申請號: 201810565004.2
• 申請日: 2018-06-04
• 公開（公告）號: CN108804039B
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 陳學偉
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 楊毅玲

一種自適應的數據恢復流控方法，包括：定期同步分布式存儲系統中的各個存儲節點的信息；當偵測到有存儲節點發生了故障時，獲取發生故障的存儲節點的存列表；識別上一個統計周期內用戶應用的IO負載類別；根據所述上一個統計周期內的IO負載類別計算當前統計周期對應的流控閾值；根據所述存儲列表及所述當前統計周期對應的流控閾值，對發生故障存儲節點的當前統計周期內的數據執行恢復操作；重復執行上述步驟，直至將數據全部恢復。本發明還提供一種自適應的數據恢復流控裝置、電子設備及存儲介質。本發明能夠在提高大規模分布式存儲系統數據修復效率、降低數據丟失風險的同時，避免對正常輸入輸出業務性能造成明顯沖擊，具有很好的流控效果。

技術領域

本發明涉及計算機技術領域，具體涉及一種自適應的數據恢復流控方法、裝置、電子設備及存儲介質。

背景技術

隨著大數據和云計算時代的到來，各個領域的數據量呈現出快速增長的趨勢。這些不斷增長的海量數據需要依賴大規模的分布式存儲系統，實現可靠的存儲和高效的訪問。然而，存儲系統的規模越大，發生故障的概率也就越高。為了應對隨時可能出現的故障，以保證數據存儲的可靠性，分布式存儲系統需要進行數據冗余。一種常見的數據冗余策略是將數據的多個副本存儲到不同的物理節點上，當部分副本損壞時，可以根據完好的副本對損壞副本進行修復。

另外，在對分布式存儲系統進行擴容時，需要進行一定規模的副本遷移，以此保證數據分布的均衡性，而這種數據遷移也被認為是一種特殊的數據修復。

一方面需要提高數據修復效率以降低數據丟失風險，但另一方面，存儲系統需要確保用戶應用的高效訪問，避免數據修復對正常業務的服務質量造成沖擊，如何較好的權衡數據修復與正常的數據輸入輸出業務之間的任務分配，在提高數據修復效率的同時，避免對正常的數據輸入輸出業務性能造成明顯沖擊，使業務系統能持續穩定地獲得較高的隨機每秒輸入輸出次數(Input/Output Operations Per Second，IOPS)和吞吐率，對于分布式存儲系統的性能提高是至關重要的。

發明內容

鑒于以上內容，有必要提出一種自適應的數據恢復流控方法、裝置、電子設備及存儲介質，能夠在提高大規模分布式存儲系統數據恢復效率、降低數據丟失風險的同時，確保正常輸入輸出業務性能不被沖擊，具有很好的流控效果。

本發明的第一方面提供一種自適應的數據恢復流控方法，所述方法包括：

a)定期同步分布式存儲系統中的各個存儲節點的信息；

b)偵測是否有存儲節點發生了故障；

c)當偵測到有存儲節點發生了故障時，獲取發生故障的存儲節點的存儲列表；

d)識別上一個統計周期內用戶應用的IO負載類別；

e)根據所述上一個統計周期內的IO負載類別計算當前統計周期對應的流控閾值；

f)根據所述存儲列表及所述當前統計周期對應的流控閾值，對發生故障的存儲節點的當前統計周期內的數據執行恢復操作；

重復執行上述步驟d)-f)，直至對所述發生故障的存儲節點的所有統計周期內的數據執行了恢復操作。

根據本發明的一個優選實施例，所述根據所述上一個統計周期內的IO負載類別計算當前統計周期對應的流控閾值包括：

采用預先設置的流控閾值作為第一個統計周期對應的流控閾值。

根據本發明的一個優選實施例，所述識別上一個統計周期內用戶應用的IO負載類別包括：

獲取所述上一個統計周期內用戶應用的每一個IO的數據塊大小，計算所述上一個統計周期內的IO的平均數據塊大小；

獲取所述上一個統計周期內的每個數據塊的傳輸時延，計算所述上一個統計周期內的IO的平均數據塊時延；