[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的存儲(chǔ)系統(tǒng)自適應(yīng)參數(shù)調(diào)優(yōu)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010547220.1
• 申請(qǐng)日: 2020-06-16
• 公開(kāi)（公告）號(hào): CN111752708A
• 公開(kāi)（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 陳圣蕾;蔣從鋒;歐東陽(yáng);殷昱煜;張紀(jì)林;閆龍川;黃震;趙子巖;李妍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州電子科技大學(xué)
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50;G06F9/48;G06N3/063;G06N3/04;G06N3/08
• 代理公司: 浙江千克知識(shí)產(chǎn)權(quán)代理有限公司 33246
• 代理人: 周希良

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的存儲(chǔ)系統(tǒng)自適應(yīng)參數(shù)調(diào)優(yōu)方法。本發(fā)明包括對(duì)存儲(chǔ)系統(tǒng)I/O帶寬的管理、I/O負(fù)載特征識(shí)別和對(duì)系統(tǒng)參數(shù)自適應(yīng)調(diào)優(yōu)，其中I/O帶寬的管理是通過(guò)加強(qiáng)公平排隊(duì)調(diào)度算法來(lái)對(duì)帶寬進(jìn)行分配，使應(yīng)用程序能夠得到合理的帶寬資源。I/O負(fù)載特征識(shí)別是借助多元線性回歸理論來(lái)對(duì)存儲(chǔ)系統(tǒng)進(jìn)行性能建模，通過(guò)檢測(cè)負(fù)載特征，動(dòng)態(tài)地提取存儲(chǔ)系統(tǒng)的性能模型。系統(tǒng)參數(shù)自適應(yīng)調(diào)優(yōu)是通過(guò)拉丁超立方抽樣方法和貪心參數(shù)選擇算法來(lái)選擇出對(duì)存儲(chǔ)系統(tǒng)性能影響較大的參數(shù)，繼而通過(guò)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練優(yōu)化模型，得到系統(tǒng)性能最優(yōu)的參數(shù)配置。本發(fā)明可以合理管理I/O帶寬，檢測(cè)識(shí)別負(fù)載特征，自動(dòng)選擇重要參數(shù)并優(yōu)化存儲(chǔ)系統(tǒng)性能。

技術(shù)領(lǐng)域

本發(fā)明涉及一種存儲(chǔ)系統(tǒng)性能的優(yōu)化方法，尤其是大規(guī)模負(fù)載部署的計(jì)算機(jī)存儲(chǔ)系統(tǒng)，如大數(shù)據(jù)存儲(chǔ)系統(tǒng)中負(fù)載特征和參數(shù)自適應(yīng)的調(diào)優(yōu)方法。

背景技術(shù)

存儲(chǔ)系統(tǒng)是現(xiàn)代計(jì)算機(jī)系統(tǒng)的關(guān)鍵部件，對(duì)應(yīng)用的性能和效率有著重要的影響，大多數(shù)存儲(chǔ)系統(tǒng)都有許多可配置的參數(shù)來(lái)控制和影響應(yīng)用的性能。然而隨著計(jì)算機(jī)應(yīng)用和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和體系結(jié)構(gòu)的不斷改進(jìn)，現(xiàn)如今存儲(chǔ)系統(tǒng)的規(guī)模變得十分龐大，分布越來(lái)越廣。存儲(chǔ)系統(tǒng)的軟硬件實(shí)現(xiàn)也變得更為復(fù)雜，其包含成百上千個(gè)可配置的參數(shù)。高復(fù)雜度、高規(guī)模的存儲(chǔ)系統(tǒng)使得系統(tǒng)的管理成本上升，也影響了數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的可靠性與應(yīng)用的服務(wù)質(zhì)量。

集中式的大規(guī)模數(shù)據(jù)中心在各種企業(yè)、政府部門(mén)和學(xué)術(shù)科研機(jī)構(gòu)等得到了廣泛部署和應(yīng)用。一方面，這些大規(guī)模數(shù)據(jù)中心的共享存儲(chǔ)資源的統(tǒng)計(jì)復(fù)用使系統(tǒng)更為方便地管理；另一方面，存儲(chǔ)資源的集中整合節(jié)省了運(yùn)作成本的同時(shí)還顯著降低了系統(tǒng)管理的復(fù)雜性。然而存儲(chǔ)資源的集中整合也帶來(lái)了一些新問(wèn)題，存儲(chǔ)資源的共享必然導(dǎo)致資源的沖突和爭(zhēng)用，這會(huì)大大影響應(yīng)用負(fù)載的服務(wù)質(zhì)量和性能。

為了提高存儲(chǔ)系統(tǒng)的服務(wù)質(zhì)量，通常是通過(guò)調(diào)整不同的配置狀態(tài)來(lái)實(shí)現(xiàn)，可配置的參數(shù)包括工作線程的數(shù)量、入站/出站緩沖區(qū)大小、擁塞窗口大小、包大小等。有研究表明，與默認(rèn)設(shè)置相比，調(diào)整存儲(chǔ)系統(tǒng)的參數(shù)可以提高系統(tǒng)性能的9倍之多。由于存儲(chǔ)系統(tǒng)不斷的復(fù)雜化，系統(tǒng)中可配置的參數(shù)也不斷的增加。為了處理系統(tǒng)中的大量配置狀態(tài)，系統(tǒng)管理員通常利用他們的專(zhuān)業(yè)知識(shí)來(lái)優(yōu)化一些經(jīng)常使用或者是經(jīng)過(guò)充分研究的參數(shù)，這些參數(shù)被認(rèn)為會(huì)顯著影響系統(tǒng)性能。然而，由于系統(tǒng)規(guī)模和復(fù)雜度不斷增加，這種手工調(diào)優(yōu)方法并不是理想的優(yōu)化方法。在如今這個(gè)廣泛使用高性能計(jì)算的時(shí)代，性能調(diào)優(yōu)自動(dòng)化方案變得尤為重要。最近，有研究者提出幾種存儲(chǔ)系統(tǒng)自動(dòng)調(diào)優(yōu)方法，在合理的時(shí)間框架內(nèi)實(shí)現(xiàn)了良好的性能改進(jìn)。這些自動(dòng)調(diào)優(yōu)技術(shù)將存儲(chǔ)系統(tǒng)建模為一個(gè)黑盒，嘗試迭代不同的配置并進(jìn)行驗(yàn)證對(duì)應(yīng)配置下的系統(tǒng)性能。然而，許多黑盒自動(dòng)調(diào)優(yōu)技術(shù)難以應(yīng)用到高維度的場(chǎng)景中。因此，處理大量存儲(chǔ)參數(shù)配置仍然是目前一大難題。

就目前而言，存儲(chǔ)系統(tǒng)的性能調(diào)優(yōu)主要面臨三大問(wèn)題。首先是龐大的參數(shù)空間，由于現(xiàn)如今的存儲(chǔ)系統(tǒng)十分復(fù)雜，含有成百上千個(gè)可調(diào)用的參數(shù)。更糟糕的是評(píng)估單個(gè)配置狀態(tài)的性能可能需要花費(fèi)幾十分鐘甚至幾個(gè)小時(shí)，這大大加劇了實(shí)驗(yàn)的難度，性能評(píng)估效率十分低。其次是不可通用的優(yōu)化結(jié)果，性能評(píng)估結(jié)果取決于特定的運(yùn)行環(huán)境，包括硬件、軟件和工作負(fù)載。對(duì)于同一種配置狀態(tài)，不同的運(yùn)行環(huán)境其性能評(píng)估結(jié)果可能相差甚大。第三，系統(tǒng)中可配置的參數(shù)分為多種類(lèi)型，有些是連續(xù)的，有些事離散的，還有一些是根據(jù)負(fù)載類(lèi)型進(jìn)行分類(lèi)的。許多優(yōu)化技術(shù)都難以有效的處理離散和分類(lèi)的參數(shù)，最終使得性能優(yōu)化結(jié)果十分不理想。

目前的參數(shù)配置調(diào)優(yōu)方法不能區(qū)分具體應(yīng)用程序的負(fù)載特征，不能通用于不同的運(yùn)行環(huán)境中，通用性差，使得無(wú)法確保存儲(chǔ)系統(tǒng)中應(yīng)用程序的服務(wù)質(zhì)量。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提供了一種基于深度學(xué)習(xí)的存儲(chǔ)系統(tǒng)自適應(yīng)參數(shù)調(diào)優(yōu)方法。

本發(fā)明以一種成熟的深度學(xué)習(xí)方法為理論基礎(chǔ)，對(duì)存儲(chǔ)系統(tǒng)的應(yīng)用性能進(jìn)行嚴(yán)格管理，提高存儲(chǔ)系統(tǒng)的性能，確保應(yīng)用程序的服務(wù)質(zhì)量。針對(duì)數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的性能，本發(fā)明提出了一個(gè)自適應(yīng)參數(shù)自動(dòng)調(diào)優(yōu)的方法，使得在龐大的參數(shù)空間，不同運(yùn)行環(huán)境中能夠自動(dòng)選取重要參數(shù)并實(shí)現(xiàn)參數(shù)自動(dòng)調(diào)優(yōu)，最終提高存儲(chǔ)系統(tǒng)的性能和服務(wù)質(zhì)量。