[發明專利]一種基于循環神經網絡的磁盤故障預測方法

有效

• 申請號: 201811398445.4
• 申請日: 2018-11-22
• 公開（公告）號: CN109634790B
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 萬繼光;王中華;魯凱;李大平;鄭文凱;胡澤鑫;伍信一;瞿曉陽;張超;徐鵬;閆銳;譚志虎;謝長生
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F11/22
• 分類號: G06F11/22;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 曹葆青;李智

本申請公開了一種于循環神經網絡的磁盤故障預測方法，選取用戶定義的故障磁盤數據，利用故障磁盤數據構建雙層多輸出等級的GRU網絡模型進行磁盤故障預測，最后平衡不同等級故障磁盤數據解決不同級別數據不平衡的問題。該方法通過劃分多等級的方式，延長了預測磁盤故障的時間，提升了在實際系統中的可用性，并且通過將傳統神經網絡替換為GRU網絡并使用基于特征遞歸消除的隨機森林算法來選擇關鍵特征，來簡化預測模型復雜度，最后根據不同等級包含時長不同來確定訓練數據的取樣步長，實現了訓練數據的平衡，提高了最終磁盤故障預測的準確度。

技術領域

本發明屬于信息存儲技術領域，更具體地，涉及一種基于循環神經網絡的磁盤故障預測方法。

背景技術

近年來互聯網發展迅速，數據中心規模驟增，故障頻率逐漸增大，造成不小的經濟損失。研究表明，磁盤故障是現代數據中心出現故障的主要原因之一，盡管單個磁盤年度故障率可能低于1％，但由于數據中心磁盤數量基數大，很多大型數據中心磁盤設備數量都是百萬級的，實際年度故障率可能超過10％。Backblaze公司2017磁盤可靠性報告中顯示不同廠商磁盤中最高故障率高達29.08％。因此，一般現代磁盤存儲系統都會采取各種容錯方法來保證系統可靠性。

現有的存儲系統容錯方法一般可分為兩類：一是數據損壞后才對系統進行恢復的被動容錯方法；二是磁盤出問題之前就能將其預測出來的主動容錯方法。被動容錯方法為了對系統進行恢復，通常需要犧牲一定的系統性能，并且被動容錯方法通常利用信息冗余來實現數據重構，這無疑會增加系統成本。為了應對被動容錯系統的困境，越來越多的研究人員將目光聚焦在主動容錯方法上，希望能提前預測出磁盤故障，進而遷移保護有潛在危險的數據。最近，機器學習的發展又對提前預測出磁盤故障的可靠性給予了極大的保障。

現有技術中，基于機器學習的磁盤故障預測方法雖然比傳統磁盤預測方法的準確度有了很大提升，但現有的基于機器學習的磁盤故障預測方法大多因為特征選取不當、預測時間短、數據集小以及未考慮數據時序性等原因而導致實用性不高或預測準確度不高。

發明內容

針對現有技術的以上缺點或不足改進需求，本發明提供了一種基于循環神經網絡的磁盤故障預測方法，其目的在于提高磁盤故障預測系統的預測準確度并且延長預測時間，通過使用改進的循環神經網絡GRU(Gated Recurrent Units，門控循環神經網絡)來進行磁盤預測；通過訓練數據特征選擇和訓練數據填充來簡化模型復雜度并提高預測準確度；通過多等級磁盤故障預測來延長預測時長。選取的GRU網絡是為了解決循環神經網絡的梯度消失或梯度爆炸而推出的改進的循環神經網絡，更適合處理序列化數據。

為實現上述目的，本發明提供了一種基于循環神經網絡的磁盤故障預測方法，該方法包括以下步驟：

選取用戶定義的故障磁盤數據；

利用故障磁盤數據構建雙層多輸出等級的GRU網絡模型進行磁盤故障預測；

平衡不同等級故障磁盤數據。

優選地，選取用戶定義的故障磁盤數據，包括：

將故障磁盤數據按型號分類，每種型號的故障磁盤數據分為一類；

將每類故障磁盤數據按比例分成兩部分；

選取具有用戶定義的故障關鍵特征的磁盤數據。

優選地，將每類故障磁盤數據按比例分成兩部分，包括：

將同一型號故障磁盤數據按照時間標注故障等級，篩選掉SMART數據不全的和沒序號的數據；

在剩下的數據中進行隨機采樣，前一部分的數據作為訓練數據集，后一部分的數據作為驗證數據集。

優選地，將同一型號故障磁盤數據按照時間標注故障等級包括：