[發明專利]一種大數據應用平臺下降低預測式糾刪碼修復的方法及裝置

有效

• 申請號: 202010115247.3
• 申請日: 2020-02-25
• 公開（公告）號: CN111475329B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 唐聃;張航;高燕;岳希;何磊;舒衛軍
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F11/07
• 代理公司: 北京元本知識產權代理事務所(普通合伙) 11308
• 代理人: 王紅霞

本發明公開了一種大數據應用平臺下降低預測式糾刪碼修復的方法及裝置，其方法包括：利用磁盤預測模型分析出糾刪碼中即將出現故障的磁盤節點中的數據塊和磁盤個數S，并將所述即將出現故障的磁盤節點劃分到同一數據小組中；根據所述即將出現故障的磁盤個數S，通過為每個數據小組生成S個局部冗余塊，同時更新全局冗余塊的個數，生成預測式糾刪碼；在對所述預測式糾刪碼進行恢復時，確定實際出現故障的實際磁盤節點中的數據塊和實際磁盤個數，并根據所述實際出現故障的實際磁盤個數和利用磁盤預測模型分析出的預測磁盤個數進行預測式糾刪碼修復。

技術領域

本發明涉及計算機存儲技術領域，特別涉及一種大數據應用平臺下降低預測式糾刪碼修復的方法及裝置。

背景技術

磁盤是當前分布式存儲系統中最主要的故障來源，磁盤故障占所有故障的?78％。在1996年的時候，康博等公司提出了一套磁盤狀態檢測與預警系統的規范?SMART。SMART通過對磁盤硬件內的檢測指令對硬盤的各個部件如馬達、磁頭、盤片等進行監控，并與所預設的安全值進行比較，一旦監控的值超出預設值，則發出警報。目前，有不少的研究工作在SMART數據集上建立各種預測模型，來提高故障預測的準確率。糾刪碼技術是通過算法將數據進行編碼得到冗余數據，并將原始數據和冗余數據一起存儲在分布式存儲系統中。當分布式存儲系統中某個節點失效數據丟失時，可以通過剩余節點的數據來恢復數原始數據，從而來達到容錯的目的。目前，糾刪碼技術主要針對的是系統出錯后，實現數據恢復，屬于被動容錯方式。隨著大數據應用平臺所使用的分布式存儲系統的規模逐漸擴大，被動容錯會增加系統的大量成本。

發明內容

為解決上述問題，本發明提供了一種大數據應用平臺下降低預測式糾刪碼修復的方法及裝置。

根據本發明實施例提供的一種大數據應用平臺下降低預測式糾刪碼修復的方法，包括：

利用磁盤預測模型分析出糾刪碼中即將出現故障的磁盤節點中的數據塊和磁盤個數S，并將所述即將出現故障的磁盤節點劃分到同一數據小組中；

根據所述即將出現故障的磁盤個數S，通過為每個數據小組生成S個局部冗余塊，同時更新全局冗余塊的個數，生成預測式糾刪碼；

在對所述預測式糾刪碼進行恢復時，確定實際出現故障的實際磁盤節點中的數據塊和實際磁盤個數，并根據所述實際出現故障的實際磁盤個數和利用磁盤預測模型分析出的預測磁盤個數進行預測式糾刪碼修復；

其中，所述S為正整數。

優選地，所述根據所述實際出現故障的實際磁盤個數和利用磁盤預測模型分析出的預測磁盤個數進行預測式糾刪碼修復包括：

當所述實際磁盤個數小于或等于所述預測磁盤個數時，則判斷所述實際出現故障的一個或多個實際磁盤節點是否在同一數據小組中；

當判斷實際出現故障的一個或多個實際磁盤節點在同一數據小組中，則讀取所述數據小組中未出現故障的磁盤節點中的數據塊和局部冗余塊；

根據所述數據小組中未出現故障的磁盤節點中的數據塊和局部冗余塊，恢復所述出現故障的一個或多個實際磁盤節點。

優選地，所述根據所述實際出現故障的實際磁盤個數和利用磁盤預測模型分析出的預測磁盤個數進行預測式糾刪碼修復包括：

當所述實際磁盤個數小于或等于所述預測磁盤個數時，則判斷所述實際出現故障的一個或多個實際磁盤節點是否在同一數據小組中；

當判斷實際出現故障的一個或多個實際磁盤節點不在同一數據小組中，則讀取所述每個數據小組中未出現故障的磁盤節點中的數據塊和局部冗余塊；

根據所述每個數據小組中未出現故障的磁盤節點中的數據塊和局部冗余塊，恢復出所述每個數據小組中出現故障的一個或多個實際磁盤節點。