[發明專利]自適應的數據恢復流控方法、裝置、電子設備及存儲介質有效
| 申請號: | 201810565004.2 | 申請日: | 2018-06-04 |
| 公開(公告)號: | CN108804039B | 公開(公告)日: | 2021-01-29 |
| 發明(設計)人: | 陳學偉 | 申請(專利權)人: | 平安科技(深圳)有限公司 |
| 主分類號: | G06F3/06 | 分類號: | G06F3/06 |
| 代理公司: | 深圳市賽恩倍吉知識產權代理有限公司 44334 | 代理人: | 楊毅玲 |
| 地址: | 518000 廣東省深*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 自適應 數據 恢復 方法 裝置 電子設備 存儲 介質 | ||
1.一種自適應的數據恢復流控方法,其特征在于,所述方法包括:
a)定期同步分布式存儲系統中的各個存儲節點的信息;
b)偵測是否有存儲節點發生了故障;
c)當偵測到有存儲節點發生了故障時,獲取發生故障的存儲節點的存儲列表;
d)識別上一個統計周期內用戶應用的IO負載類別,所述識別上一個統計周期內用戶應用的IO負載類別包括:獲取所述上一個統計周期內用戶應用的每一個IO的數據塊大小,計算所述上一個統計周期內的IO的平均數據塊大??;獲取所述上一個統計周期內的每個數據塊的傳輸時延,計算所述上一個統計周期內的IO的平均數據塊時延;獲取預先設置的IO的數據塊大小的基準值及對應的數據塊時延的基準值;采用公式計算所述上一個統計周期內的IO負載強度,其中,X為所述上一個統計周期內的所述IO的平均數據塊大小,Y為所述平均數據塊時延,M為所述數據塊大小的基準值,N為所述對應的數據塊時延的基準值;根據所述上一個統計周期內的IO負載強度,利用預先訓練好的負載分類模型確定所述上一個統計周期內的IO負載類別;
e)根據所述上一個統計周期內的IO負載類別計算當前統計周期對應的流控閾值;
f)根據所述存儲列表及所述當前統計周期對應的流控閾值,對發生故障的存儲節點的當前統計周期內的數據執行恢復操作;
重復執行d)-f),直至對所述發生故障的存儲節點的所有統計周期內的數據執行了恢復操作。
2.如權利要求1所述的方法,其特征在于,所述根據所述上一個統計周期內的IO負載類別計算當前統計周期對應的流控閾值包括:
采用預先設置的流控閾值作為第一個統計周期對應的流控閾值。
3.如權利要求1所述的方法,其特征在于,所述IO負載類別包括:高負載類別、正常負載類別、低負載類別,所述根據上一個統計周期內的IO負載類別計算當前統計周期對應的流控閾值包括:
當所述上一個統計周期內的IO負載類別為高負載類別時,將所述上一個統計周期對應的流控閾值降低第一預設幅度,得到當前統計周期對應的流控閾值;
當所述上一個統計周期內的IO負載類別為低負載類別時,將所述上一個統計周期對應的流控閾值提高第二預設幅度,得到下一個統計周期對應的流控閾值;
當所述上一個統計周期內的IO負載類別為正常負載類別時,將所述上一個統計周期對應的流控閾值作為當前統計周期對應的流控閾值。
4.如權利要求1所述的方法,其特征在于,所述偵測是否有存儲節點發生故障包括:
偵測所述分布式存儲系統中的任何一個或者多個存儲節點是否發生了無法啟動、斷電或斷網;或者
偵測所述分布式存儲系統中的任何一個或者多個存儲節點中的磁盤是否發生了故障。
5.如權利要求1至4中任意一項所述的方法,其特征在于,所述同步分布式存儲系統中的各個存儲節點的信息包括:
由所述分布式存儲系統中的一個存儲中心執行各個存儲節點的信息同步;或者
采用去中心化的方法,由所述分布式存儲系統中的任何一個存儲節點發起各個存儲節點的信息同步。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于平安科技(深圳)有限公司,未經平安科技(深圳)有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201810565004.2/1.html,轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置





