[發明專利]一種基于深度學習的存儲系統自適應參數調優方法

在審

• 申請號: 202010547220.1
• 申請日: 2020-06-16
• 公開（公告）號: CN111752708A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 陳圣蕾;蔣從鋒;歐東陽;殷昱煜;張紀林;閆龍川;黃震;趙子巖;李妍
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06N3/063;G06N3/04;G06N3/08
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

1.一種基于深度學習的存儲系統自適應參數調優方法，其特征在于該方法通過自動選擇參數來優化存儲系統性能，具體是：

步驟1.從目標系統中提取出特征較為完備的I/O負載，同時通過目標系統中的兩個監控代理模塊提取I/O負載和系統性能的運行時特征；

步驟2.根據不同類型的應用請求將I/O負載進行分類，分別發送到調度器的不同隊列中等待I/O服務，并根據調度策略將請求重新排序；所述的調度策略包括三個部分：負載I/O流隔離分配、I/O請求標識和I/O請求分派；

步驟3.在經過調度器合理管理I/O帶寬之后，將負載發送到模型提取器中進行負載特征分析；

根據不同的負載特征，借助多元線性回歸理論，通過最小二乘法來求解回歸常數，繼而得到最優的存儲系統性能模型；

步驟4.在步驟1中提取得到存儲系統的性能特征之后，通過抽樣方法和貪心參數選擇算法提取出重要參數；

抽樣方法采用拉丁超立方抽樣，從參數配置集合中抽樣出部分配置，通過量化參數的重要性來選擇重要參數，之后基于貪心參數選擇算法，在已知最重要的參數之后通過條件參數重要性依次選擇重要的參數，直到選擇出設定數量的重要參數；

步驟5.將提取出的表征性能指標的重要參數發送到后臺接口程序，后臺接口程序將參數放入記憶池中；

后臺接口程序是一個輕量級程序，接收所有通過監控代理發出的所有消息，還從深度增強學習引擎接受建議的操作；

步驟6.深度增強學習引擎模塊調用記憶池中的數據進行模型訓練，將所有訓練樣本的配置作為神經網絡的輸入，進行批量處理，得到對應配置下的存儲系統性能，之后選擇最優性能對應的參數配置狀態；

步驟7.在固定的時間間隔中，深度增強學習引擎模塊通過操作檢查將操作結果發送給后臺接口守護進程；

步驟8.后臺接口守護進程將結果發送到目標系統的控制代理中，控制代理根據結果對目標系統作出相應的改變。

2.根據權利要求1所述的一種基于深度學習的存儲系統自適應參數調優方法，其特征在于：步驟2中所述負載I/O流隔離分配采用動態機制，在區分正常I/O流和異常I/O流的同時基于最大最小公平原則對I/O帶寬進行加權公平分配，使得每個負載請求都公平的持有帶寬資源，且不浪費空閑帶寬。

3.根據權利要求1所述的一種基于深度學習的存儲系統自適應參數調優方法，其特征在于：步驟2中所述I/O請求標識采用公平排隊策略為每一個I/O請求設置起始標識和完成標識，并根據標識對隊列中等候的I/O請求進行重新排序。

4.根據權利要求1所述的一種基于深度學習的存儲系統自適應參數調優方法，其特征在于：步驟2中所述I/O請求分派是從多個隊列中選擇起始標識最小的負載請求將其發送到底層存儲系統。

5.根據權利要求1所述的一種基于深度學習的存儲系統自適應參數調優方法，其特征在于：步驟3在模型提取器中，I/O負載的特征參數表示為一個四元組，包括I/O請求的到達率、I/O請求大小、I/O請求的讀寫百分比和I/O負載的順序度；并且該模型提取器中采用平均響應時間作為系統的性能度量。