[發(fā)明專利]一種提高數(shù)據(jù)加載速率的混合存儲(chǔ)系統(tǒng)及混合存儲(chǔ)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711146834.3
• 申請(qǐng)日: 2017-11-17
• 公開（公告）號(hào): CN107943416A
• 公開（公告）日: 2018-04-20
• 發(fā)明（設(shè)計(jì)）人: 景蔚亮;杜源;陳邦明
• 申請(qǐng)（專利權(quán)）人: 上海新儲(chǔ)集成電路有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 上海申新律師事務(wù)所31272
• 代理人: 俞滌炯

技術(shù)領(lǐng)域

本發(fā)明涉及存儲(chǔ)系統(tǒng)技術(shù)領(lǐng)域，尤其涉及一種提高數(shù)據(jù)加載速率的混合存儲(chǔ)系統(tǒng)及混合存儲(chǔ)方法。

背景技術(shù)

目前很多存儲(chǔ)系統(tǒng)中使用的是高轉(zhuǎn)速的硬盤驅(qū)動(dòng)器(Hard Disk Drive,HDD)，使其能夠保持工作在高性能狀態(tài)下。然而，系統(tǒng)I/O實(shí)際工作在高速吞吐速率狀態(tài)下的時(shí)間只是很小的一部分。有資料分析表明，在現(xiàn)有的大容量存儲(chǔ)系統(tǒng)中，99％的時(shí)間里系統(tǒng)I/O的實(shí)際吞吐速率不到其最高吞吐速率的33％，而在70％的時(shí)間里系統(tǒng)I/O的實(shí)際吞吐速率不到其最高吞吐速率的5％，這就造成了高轉(zhuǎn)速HDD很大一部分性能的浪費(fèi)，也使得HDD的功耗過高，大大增加了使用成本。也就是說(shuō)HDD在絕大部分時(shí)間里是不需要保持高轉(zhuǎn)速的。

為了減小功耗的浪費(fèi)，使用低轉(zhuǎn)速的HDD是一種解決辦法，但前提是不影響存儲(chǔ)系統(tǒng)的性能，甚至反而能夠進(jìn)一步提升該系統(tǒng)的性能。因此，在現(xiàn)有技術(shù)中出現(xiàn)了一種I/O敏感的混合存儲(chǔ)系統(tǒng)，如圖1所示，該系統(tǒng)主要包括高性能存儲(chǔ)單元、低轉(zhuǎn)速HDD單元、統(tǒng)計(jì)單元和控制單元四個(gè)組成部分。統(tǒng)計(jì)單元具有自學(xué)習(xí)功能，也就是可以在一個(gè)固定的時(shí)間段內(nèi)記錄各個(gè)程序的運(yùn)行情況，并根據(jù)程序的運(yùn)行情況對(duì)用戶的行為進(jìn)行統(tǒng)計(jì)分析，進(jìn)而得到不同用戶不同應(yīng)用在不同時(shí)間段的數(shù)據(jù)傳輸特征，然后控制單元可以根據(jù)這些數(shù)據(jù)傳輸特征，復(fù)用那些存儲(chǔ)帶寬利用率低的時(shí)間將上位機(jī)需要用高帶寬和高I/O速率進(jìn)行傳輸?shù)臄?shù)據(jù)預(yù)先從低轉(zhuǎn)速HDD單元提取到高性能存儲(chǔ)單元中，當(dāng)上位機(jī)需要這些數(shù)據(jù)時(shí)，就可以直接在高性能存儲(chǔ)單元中讀取而不需要通過低轉(zhuǎn)速HDD單元，正是由于預(yù)提取策略的存在，因此該混合存儲(chǔ)系統(tǒng)可以使用低轉(zhuǎn)速的HDD，且低轉(zhuǎn)速的HDD足以應(yīng)對(duì)上位機(jī)獲取其他(不需要利用高帶寬和高I/O速率進(jìn)行傳輸)數(shù)據(jù)的操作。因此，該系統(tǒng)使用低轉(zhuǎn)速的HDD就達(dá)到了減小功耗的目的，而且由于高性能存儲(chǔ)單元的讀寫速度比HDD(即使是高轉(zhuǎn)速)要快得多，所以該系統(tǒng)相對(duì)于全部使用高轉(zhuǎn)速HDD的存儲(chǔ)系統(tǒng)來(lái)說(shuō)性能還會(huì)有所提升。

然而，用戶對(duì)應(yīng)用程序的使用行為并不是一成不變的，不同的用戶不同的應(yīng)用程序在不同的時(shí)間段的數(shù)據(jù)傳輸特征很有可能會(huì)發(fā)生變化，而且統(tǒng)計(jì)單元所使用的自學(xué)習(xí)算法有時(shí)也會(huì)出現(xiàn)誤差，以至于不能準(zhǔn)確地獲得用戶的數(shù)據(jù)特征，從而導(dǎo)致自學(xué)習(xí)結(jié)果不準(zhǔn)確，這些都會(huì)給預(yù)提取的結(jié)果帶來(lái)影響。如果經(jīng)過一定時(shí)間(這個(gè)時(shí)間大于自學(xué)習(xí)的時(shí)間)后，用戶的行為發(fā)生了改變，或者是自學(xué)習(xí)算法存在一定的誤差，那么就會(huì)造成上位機(jī)需要的部分?jǐn)?shù)據(jù)并沒有被預(yù)提取到高性能存儲(chǔ)單元中，即這部分?jǐn)?shù)據(jù)在高性能存儲(chǔ)單元中丟失(Miss)，因而當(dāng)上位機(jī)需要這部分?jǐn)?shù)據(jù)時(shí)還得再一次地訪問HDD，而在如圖1所示的混合存儲(chǔ)系統(tǒng)中HDD為低轉(zhuǎn)速，上位機(jī)要獲取這些數(shù)據(jù)就會(huì)花費(fèi)比較長(zhǎng)的時(shí)間，使得系統(tǒng)性能降低，而且功耗也很有可能增加。如果這部分在高性能存儲(chǔ)器中丟失的數(shù)據(jù)比較多，那么這個(gè)帶有自學(xué)習(xí)和預(yù)提取技術(shù)的混合存儲(chǔ)系統(tǒng)相比于傳統(tǒng)的存儲(chǔ)系統(tǒng)不但不能降低功耗、提升性能，反而還會(huì)增加功耗、降低性能，效果適得其反。

這里先定義一個(gè)參數(shù)：丟失數(shù)據(jù)比例(miss_rate_ratio)，即本應(yīng)被預(yù)提取到高性能存儲(chǔ)器中而實(shí)際卻沒有被提取的數(shù)據(jù)占所有應(yīng)被提取的數(shù)據(jù)的比例。假定所有應(yīng)被預(yù)提取的數(shù)據(jù)用A表示，本應(yīng)被預(yù)提取到高性能存儲(chǔ)器中而實(shí)際卻并沒有被預(yù)提取的數(shù)據(jù)用B表示，那么miss_rate_ratio為：

假設(shè)在傳統(tǒng)存儲(chǔ)架構(gòu)情況下(包括使用單一高轉(zhuǎn)速HDD的存儲(chǔ)系統(tǒng)如圖2所示或者在高轉(zhuǎn)速的HDD上添加緩存(Cache)的混合存儲(chǔ)系統(tǒng)如圖3所示)，當(dāng)上位機(jī)需要數(shù)據(jù)A時(shí)，此時(shí)HDD的轉(zhuǎn)速應(yīng)為高轉(zhuǎn)速X，假設(shè)此時(shí)從HDD傳輸數(shù)據(jù)A到上位機(jī)的時(shí)間為ΔT1，那么ΔT1為：

其中，IOPSX為HDD轉(zhuǎn)速為X時(shí)的I/O傳輸速率。

根據(jù)圖1提出的混合存儲(chǔ)架構(gòu)，當(dāng)用戶對(duì)應(yīng)用程序的使用行為發(fā)生了改變，或者是由于統(tǒng)計(jì)單元所使用的自學(xué)習(xí)算法本身所存在的誤差，此時(shí)HDD的轉(zhuǎn)速為低轉(zhuǎn)速Y，那么此時(shí)從HDD傳輸數(shù)據(jù)B(A*miss_rate_ratio)到上位機(jī)的時(shí)間為ΔT2，那么ΔT2為：

因此，如果不對(duì)系統(tǒng)性能造成損失，那么ΔT2必須小于ΔT1，也就是說(shuō)對(duì)于圖1所示的混合存儲(chǔ)架構(gòu)來(lái)說(shuō)，在不對(duì)系統(tǒng)性能造成損失的前提下，有一個(gè)最大可允許的miss_rate_ratio，其為：

當(dāng)用戶行為發(fā)生變化或者由于自學(xué)習(xí)算法的不準(zhǔn)確性造成miss_rate_ratio比miss_rate_ratiomax小時(shí)，此時(shí)圖1所示的混合存儲(chǔ)系統(tǒng)并不會(huì)給系統(tǒng)性能帶來(lái)?yè)p害，但當(dāng)用戶行為發(fā)生變化或者