[發(fā)明專(zhuān)利]一種緩存分片的動(dòng)態(tài)調(diào)整方法、裝置以及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110500319.0
• 申請(qǐng)日: 2021-05-08
• 公開(kāi)（公告）號(hào): CN113282523B
• 公開(kāi)（公告）日: 2022-09-30
• 發(fā)明（設(shè)計(jì)）人: 譚玉娟;余愛(ài)玲;許聰聰;劉鐸;陳咸彰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶大學(xué)
• 主分類(lèi)號(hào): G06F12/0871
• 分類(lèi)號(hào): G06F12/0871
• 代理公司: 廣州三環(huán)專(zhuān)利商標(biāo)代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

本發(fā)明公開(kāi)了一種緩存分片的動(dòng)態(tài)調(diào)整方法，所述方法通過(guò)在程序的每一個(gè)運(yùn)行周期運(yùn)行時(shí)，計(jì)算相鄰的緩存分片的緩存缺失率之差的絕對(duì)值，并在緩存缺失率之差的絕對(duì)值大于預(yù)設(shè)緩存缺失精度時(shí)，在兩個(gè)相鄰緩存分片之間添加新的緩存分片，其能夠在程序運(yùn)行的周期內(nèi)對(duì)已配置的緩存分片進(jìn)行檢測(cè)，并實(shí)時(shí)添加構(gòu)建滿足系統(tǒng)定義的精度內(nèi)的MRC所缺失的緩存分片，保證應(yīng)用程序在整個(gè)運(yùn)行過(guò)程中構(gòu)建的MRC都滿足系統(tǒng)所需要的精確性。此外，本發(fā)明還相應(yīng)提供一種緩存分片的動(dòng)態(tài)調(diào)整裝置以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)緩存體系技術(shù)領(lǐng)域，尤其涉及一種緩存分片的動(dòng)態(tài)調(diào)整方法、裝置以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

基于效用的緩存分區(qū)技術(shù)(UTIL)管理共享緩存的基本思想是根據(jù)應(yīng)用程序獲得額外的緩存空間時(shí)帶來(lái)的性能提升程度將緩存空間動(dòng)態(tài)的分配給每個(gè)應(yīng)用。其中對(duì)性能提升的評(píng)估通常使用緩存缺失率(MRC)來(lái)實(shí)現(xiàn)，MRC描述了工作負(fù)載在特定緩存容量下的緩存缺失情況。圖1顯示了UTIL的整體架構(gòu)，該架構(gòu)主要包含四個(gè)模塊，分別是監(jiān)視模塊，分析模塊，優(yōu)化模塊和分配模塊。在程序的運(yùn)行過(guò)程中，監(jiān)控器連續(xù)從各個(gè)應(yīng)用程序接收I/O請(qǐng)求，分析器根據(jù)每個(gè)應(yīng)用程序的I/O請(qǐng)求構(gòu)造對(duì)應(yīng)的MRC，優(yōu)化器根據(jù)每個(gè)應(yīng)用程序的MRC制定分配策略以滿足自定義的服務(wù)目標(biāo)，分配器根據(jù)制定的分配策略執(zhí)行緩存空間的再分配。在實(shí)際的程序運(yùn)行過(guò)程中，UTIL將應(yīng)用程序的的完整運(yùn)行過(guò)程分為一系列周期以適應(yīng)工作負(fù)載行為的變化，在每個(gè)周期結(jié)束時(shí)構(gòu)建應(yīng)用程序的MRC，并根據(jù)構(gòu)建的MRC進(jìn)行緩存空間的重新分配。在UTIL管理緩存空間的整個(gè)過(guò)程中，各個(gè)應(yīng)用程序的MRC起著至關(guān)重要的作用，MRC反映了程序在任意可能的緩存容量下具有的緩存性能，其準(zhǔn)確性決定了緩存分區(qū)策略制定的有效性和緩存分區(qū)的有效性。

為了充分發(fā)揮UTIL對(duì)共享緩存的高效管理，提升共享存儲(chǔ)系統(tǒng)的訪問(wèn)性能，需要準(zhǔn)確構(gòu)造各個(gè)應(yīng)用程序在運(yùn)行過(guò)程中的MRC。但在實(shí)際生產(chǎn)中MRC的構(gòu)造非常昂貴，其展示了應(yīng)用在系統(tǒng)所能提供的所有可能緩存大小下的緩存缺失情況，因此對(duì)MRC的構(gòu)建需要消耗大量的緩存資源和計(jì)算資源，在過(guò)去的很長(zhǎng)一段時(shí)間內(nèi)只能離線構(gòu)造。此外，不同類(lèi)型的緩存替換算法，構(gòu)建MRC的方法不同，共享緩存系統(tǒng)很難在面對(duì)不同緩存替換算法時(shí)擁有靈活的擴(kuò)展性和良好的適應(yīng)性。對(duì)此，研究人員進(jìn)行了廣泛的研究。

為了支持任何緩存算法的建模，研究人員提出了一種微型模擬的技術(shù)，微型模擬提出對(duì)于給定的緩存大小，可以在一個(gè)將原緩存縮小的微型緩存上運(yùn)行完整的、未修改的算法對(duì)基于空間哈希采樣后的請(qǐng)求樣本進(jìn)行建模的方法。圖2展示了微型模擬的原理，圖中左邊的Cache表示真實(shí)的緩存大小和真實(shí)的訪問(wèn)數(shù)據(jù)流reqs，圖中箭頭的大小表示了對(duì)訪問(wèn)流中的數(shù)據(jù)進(jìn)行哈希計(jì)算后得到的不同哈希值的數(shù)量大小。傳統(tǒng)的方式是使完整的訪問(wèn)流在真實(shí)的緩存上運(yùn)行，得到數(shù)據(jù)在緩存中的訪問(wèn)情況，以進(jìn)行相關(guān)的計(jì)算。圖2中右邊是使用微型模擬方法的結(jié)果，展示了將緩存大小和輸入數(shù)據(jù)流縮小2倍和縮小128倍的例子。整體來(lái)說(shuō)，微型模擬使用采樣率R對(duì)大小為S的緩存建模，將緩存大小縮小到R×S并使用具有采樣率R的基于哈希的空間過(guò)濾器采樣訪問(wèn)流，使采樣后的訪問(wèn)流在縮小的緩存上運(yùn)行，獲得數(shù)據(jù)在緩存中的訪問(wèn)情況，并計(jì)算缺失率作為真實(shí)缺失率的近似值。例如，對(duì)于應(yīng)用程序A的一段訪問(wèn)流T，需要獲取其在緩存大小為1GB時(shí)的缺失率，傳統(tǒng)做法是將訪問(wèn)流T在1GB緩存上運(yùn)行，獲得緩存數(shù)據(jù)訪問(wèn)的信息，并計(jì)算缺失率。微型模擬則是同時(shí)以R的比例縮小訪問(wèn)流T和緩存大小，選擇R＝0.01時(shí)，并采用空間哈希近似重用距離對(duì)訪問(wèn)流T進(jìn)行采樣，將采樣后的數(shù)據(jù)在1GB×0.01大小的緩存上運(yùn)行，以此模擬真實(shí)的緩存情況，并計(jì)算近似的缺失率。與傳統(tǒng)的全尺寸模擬相比，微型模擬實(shí)現(xiàn)了空間和時(shí)間的大幅減少。