[發(fā)明專利]存儲設(shè)備IO分配方法、存儲設(shè)備IO分配裝置及服務(wù)器系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710480325.8
• 申請日: 2017-06-22
• 公開（公告）號: CN107247627A
• 公開（公告）日: 2017-10-13
• 發(fā)明（設(shè)計）人: 吳志勇;王宏輝;邱模炯;葉理燈
• 申請（專利權(quán)）人: 上海優(yōu)刻得信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 上海華誠知識產(chǎn)權(quán)代理有限公司31300
• 代理人: 肖華

技術(shù)領(lǐng)域

本發(fā)明屬于計算機應(yīng)用技術(shù)領(lǐng)域，具體地涉及存儲設(shè)備的輸入輸出(IO)能力進(jìn)行合理分配的方法、裝置及采用該存儲設(shè)備IO分配方法、存儲設(shè)備IO分配裝置的服務(wù)器系統(tǒng)。

背景技術(shù)

隨著數(shù)據(jù)公司的涌現(xiàn)和業(yè)務(wù)發(fā)展，全球優(yōu)秀的云計算供應(yīng)商都推出了云存儲服務(wù)。目前云存儲可分為冷存儲和熱存儲，其中熱存儲既是對處于活躍使用狀態(tài)或預(yù)期會頻繁訪問(讀取和寫入)的數(shù)據(jù)進(jìn)行存儲，例如在來自遠(yuǎn)程的終端頻繁訪問存儲服務(wù)器上的數(shù)據(jù)的場景中，需要頻繁對存儲設(shè)備進(jìn)行讀寫操作。冷數(shù)據(jù)存儲是指很少使用或訪問的非活躍數(shù)據(jù)的存儲，需要長時間存儲并且?guī)缀醪辉L問的合規(guī)性和存檔數(shù)據(jù)即為冷存儲，其示例包括：備份、存檔和災(zāi)難恢復(fù)數(shù)據(jù)集，不再經(jīng)常查看、但訪問時應(yīng)立即可用的較舊的媒體內(nèi)容，諸如長期存儲的科學(xué)數(shù)據(jù)、面向醫(yī)療保健機構(gòu)、轉(zhuǎn)碼為其他格式后的原始媒體文件等。

當(dāng)存儲服務(wù)器同時保存有冷存儲數(shù)據(jù)以及熱存儲數(shù)據(jù)時，對這兩種數(shù)據(jù)進(jìn)行讀寫的優(yōu)先級是不同的。換言之，應(yīng)當(dāng)根據(jù)不同的存儲數(shù)據(jù)類型，對他們所需占用的IO資源加以限制，例如將對存儲設(shè)備進(jìn)行讀寫的進(jìn)程進(jìn)行分組，并對每組設(shè)定權(quán)重以標(biāo)志該組進(jìn)程讀寫訪問的優(yōu)先級別，以節(jié)省IO資源，優(yōu)化讀寫速度。

目前Linux內(nèi)核中存在的幾種存儲設(shè)備IO分配方法，普遍采用noop、deadline與cfq等磁盤調(diào)度器，然而noop磁盤調(diào)度器與deadline磁盤調(diào)度器不支持按照進(jìn)程組的權(quán)重來限制該組可用的IO資源，即權(quán)重限流。而cfq磁盤調(diào)度器雖然能夠?qū)崿F(xiàn)權(quán)重限流，但其僅適用于傳統(tǒng)的機械式磁盤，在高速塊設(shè)備，例如固態(tài)硬盤上性能較差，不能充分發(fā)揮固態(tài)硬盤的性能。

發(fā)明內(nèi)容

為克服上述缺陷，本發(fā)明提供了能夠適用于固態(tài)硬盤、采用權(quán)重限制分配給各進(jìn)程的可用IO資源、并且能夠根據(jù)實際運行狀態(tài)實時調(diào)整上述分配的存儲設(shè)備IO分配方法、存儲設(shè)備IO分配裝置及服務(wù)器系統(tǒng)。

根據(jù)本發(fā)明的第一方面，提供一種存儲設(shè)備IO分配方法，用于分配存儲設(shè)備IO至根據(jù)對該存儲設(shè)備的訪問頻率劃分的多個進(jìn)程組，包括下述步驟：IO總數(shù)確定步驟：以存儲設(shè)備的IO容量減去已占用的IO數(shù)，確定當(dāng)前可用的存儲設(shè)備IO總數(shù)；額定IO數(shù)計算步驟：根據(jù)每個進(jìn)程組的權(quán)重值計算每個進(jìn)程組的額定IO數(shù)，其中一個進(jìn)程組的額定IO數(shù)在存儲設(shè)備IO總數(shù)中的占比等于一個進(jìn)程組的權(quán)重值在多個進(jìn)程組的總權(quán)重值中的占比；比較確定步驟：比較每個進(jìn)程組的額定IO數(shù)和IO需求數(shù)，以將額定IO數(shù)大于IO需求數(shù)的進(jìn)程組確定為富余組，并且將額定IO數(shù)小于IO需求數(shù)的進(jìn)程組確定為饑餓組；和調(diào)整步驟：將所有的富余組的富余IO數(shù)的總和分配給所有饑餓組，其中富余組的富余IO數(shù)為富余組的額定IO數(shù)與IO需求數(shù)的差值。

根據(jù)本發(fā)明第一方面的存儲設(shè)備IO分配方法，根據(jù)各進(jìn)程組的設(shè)定權(quán)重進(jìn)行存儲設(shè)備IO資源初步分配。因此可以考慮到各進(jìn)程組進(jìn)程特點，例如對存儲設(shè)備的讀寫速度、響應(yīng)情況等，優(yōu)先保證特定進(jìn)程組能夠分配到充足的IO資源。與此同時，可以考慮到各進(jìn)程組實際IO資源的利用情況，對閑置IO資源進(jìn)行再分配，最大化地發(fā)揮了單個存儲設(shè)備的IO能力，提高存儲設(shè)備利用率，降低對額外存儲設(shè)備的需求，降低成本。

在本發(fā)明第一方面的存儲設(shè)備IO分配方法中，優(yōu)選地，在調(diào)整步驟中，根據(jù)富余IO數(shù)的總和以及每個饑餓組的權(quán)重值，確定將要分配給每個饑餓組的調(diào)整IO數(shù)；其中一個饑餓組的調(diào)整IO數(shù)在富余IO數(shù)的總和中的占比等于一個饑餓組的權(quán)重值在所有的饑餓組的總權(quán)重值中的占比。

在本發(fā)明第一方面的上述優(yōu)選方案中，當(dāng)對閑置IO資源進(jìn)行再分配以滿足當(dāng)前欠缺IO資源的進(jìn)程組需求時，仍然采用按照各進(jìn)程組的權(quán)重進(jìn)行上述再分配。因此，即使當(dāng)具有多個饑餓組時，還可盡量為優(yōu)先級較高的饑餓組分配較多的IO資源。

在本發(fā)明第一方面的存儲設(shè)備IO分配方法中，優(yōu)選地，存儲設(shè)備是固態(tài)硬盤。

根據(jù)本發(fā)明第一方面的存儲設(shè)備IO分配方法，不但能根據(jù)各組的權(quán)重進(jìn)行IO限流限流，而且特別適用于固態(tài)硬盤，解決了現(xiàn)有技術(shù)中cfq調(diào)度算法在固態(tài)硬盤高速塊設(shè)備上性能較差的缺陷，能夠充分發(fā)揮固態(tài)硬盤的性能優(yōu)勢。而相較于采用noop和deadline算法的調(diào)度算法，還能夠?qū)崿F(xiàn)各組的權(quán)重進(jìn)行IO限流。

在本發(fā)明第一方面的存儲設(shè)備IO分配方法中，優(yōu)選地，實時循環(huán)執(zhí)行比較確定步驟和調(diào)整步驟，因此，能夠根據(jù)各進(jìn)程組實際的IO請求數(shù)量及時、主動地調(diào)整分配給各進(jìn)程組的可用IO資源。