[發(fā)明專(zhuān)利]基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010895951.5
• 申請(qǐng)日: 2020-08-31
• 公開(kāi)（公告）號(hào): CN112000297A
• 公開(kāi)（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 田鵬;袁曉光;宋珺;徐晗
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06
• 代理公司: 中國(guó)兵器工業(yè)集團(tuán)公司專(zhuān)利中心 11011
• 代理人: 張然

本發(fā)明涉及一種基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法，其中，包括：將共享存儲(chǔ)服務(wù)器抽象為一個(gè)具有代表性的模型，IO調(diào)度器作為一個(gè)虛擬化層置于底層物理存儲(chǔ)實(shí)體之上，設(shè)存儲(chǔ)服務(wù)器為N個(gè)客戶端所共享，每個(gè)客戶端對(duì)應(yīng)一種應(yīng)用負(fù)載，當(dāng)屬于負(fù)載類(lèi)i的IO請(qǐng)求到達(dá)時(shí)，將請(qǐng)求分類(lèi)之后，發(fā)送到第i個(gè)隊(duì)列等待IO服務(wù)，IO調(diào)度器將對(duì)IO隊(duì)列中排隊(duì)的IO請(qǐng)求進(jìn)行重新排序，并控制這些IO請(qǐng)求進(jìn)入底層存儲(chǔ)實(shí)體。本發(fā)明能有效降低數(shù)據(jù)包傳輸延時(shí)和網(wǎng)絡(luò)抖動(dòng)并且能顯著降低網(wǎng)絡(luò)丟包率，保障關(guān)鍵業(yè)務(wù)的順暢運(yùn)行，在分布式存儲(chǔ)系統(tǒng)中起到了良好測(cè)試效果。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)傳輸技術(shù)，基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法。

背景技術(shù)

各類(lèi)軍事作戰(zhàn)指控、情報(bào)、保障等系統(tǒng)需要實(shí)時(shí)存儲(chǔ)和處理大量數(shù)據(jù)，及時(shí)精確地提供作戰(zhàn)指揮所需的各類(lèi)信息。這些軍事信息系統(tǒng)對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能要求不斷提升，尤其在情報(bào)相關(guān)系統(tǒng)中，隨著各類(lèi)偵察、探測(cè)手段的發(fā)展，各類(lèi)探測(cè)器實(shí)時(shí)產(chǎn)生匯集的數(shù)據(jù)飛速增長(zhǎng)，對(duì)后端存儲(chǔ)系統(tǒng)的IO性能要求也在不斷提升。

新一代武器系統(tǒng)的大掃描寬帶固態(tài)有源相控陣?yán)走_(dá)，有數(shù)百路信號(hào)源，單路信號(hào)數(shù)據(jù)流達(dá)到4Gbps，實(shí)時(shí)產(chǎn)生的信號(hào)聚合數(shù)據(jù)流達(dá)到接近200Gbps；寬帶直采雷達(dá)單路信號(hào)數(shù)據(jù)流甚至達(dá)到40Gbps，實(shí)時(shí)產(chǎn)生的信號(hào)聚合數(shù)據(jù)流達(dá)到接近1000Gbps。為支撐這些信號(hào)數(shù)據(jù)的深度挖掘分析，需要高帶寬的存儲(chǔ)系統(tǒng)實(shí)現(xiàn)對(duì)數(shù)據(jù)的高速及時(shí)存儲(chǔ)；航天偵查情報(bào)系統(tǒng)接收的實(shí)時(shí)數(shù)據(jù)流達(dá)到數(shù)百個(gè)Gbps，要求存儲(chǔ)系統(tǒng)能夠提供持續(xù)穩(wěn)定的IO帶寬。目前規(guī)劃的新一代綜合情報(bào)處理系統(tǒng)每秒需要存儲(chǔ)和處理近50萬(wàn)條短文本情報(bào)信息，要求存儲(chǔ)系統(tǒng)的聚合IOPS能力達(dá)到百萬(wàn)次以上。

此外，部分信息系統(tǒng)需要7*24小時(shí)持續(xù)運(yùn)行，且前端應(yīng)用持續(xù)向存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)寫(xiě)入，這些由各類(lèi)采集設(shè)備實(shí)時(shí)產(chǎn)生的數(shù)據(jù)需要及時(shí)寫(xiě)入到存儲(chǔ)系統(tǒng)中，一旦產(chǎn)生寫(xiě)入阻塞就會(huì)造成數(shù)據(jù)丟失，因而要求存儲(chǔ)系統(tǒng)提供持續(xù)的IO帶寬保證。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法，用于解決上述現(xiàn)有技術(shù)的問(wèn)題。

本發(fā)明一種基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法，其中，包括：將共享存儲(chǔ)服務(wù)器抽象為一個(gè)具有代表性的模型，IO調(diào)度器作為一個(gè)虛擬化層置于底層物理存儲(chǔ)實(shí)體之上，設(shè)存儲(chǔ)服務(wù)器為N個(gè)客戶端所共享，每個(gè)客戶端對(duì)應(yīng)一種應(yīng)用負(fù)載，當(dāng)屬于負(fù)載類(lèi)i的IO請(qǐng)求到達(dá)時(shí)，將請(qǐng)求分類(lèi)之后，發(fā)送到第i個(gè)隊(duì)列等待IO服務(wù)，IO調(diào)度器將對(duì)IO隊(duì)列中排隊(duì)的IO請(qǐng)求進(jìn)行重新排序，并控制這些IO請(qǐng)求進(jìn)入底層存儲(chǔ)實(shí)體。

根據(jù)本發(fā)明的基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法，其中，采用的WCFQ調(diào)度算法，包括3個(gè)例程：負(fù)載IO流整形、IO請(qǐng)求標(biāo)記標(biāo)識(shí)和IO請(qǐng)求分派。

根據(jù)本發(fā)明的基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法，其中，負(fù)載IO流整形例程采用動(dòng)態(tài)機(jī)制，在隔離正常IO流和異常IO流的同時(shí)對(duì)IO帶寬進(jìn)行加權(quán)公平分配。

根據(jù)本發(fā)明的基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法，其中，IO請(qǐng)求標(biāo)記標(biāo)識(shí)例程采用公平排隊(duì)策略，為每一個(gè)到達(dá)的IO請(qǐng)求打上起始標(biāo)記和完成標(biāo)記，并根據(jù)標(biāo)記對(duì)在隊(duì)列中等待的IO請(qǐng)求進(jìn)行重新排序。

根據(jù)本發(fā)明的基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法，其中，IO請(qǐng)求分派例程從多個(gè)IO隊(duì)列中選擇start標(biāo)記值最小的IO請(qǐng)求并將其發(fā)送給底層存儲(chǔ)子系統(tǒng)。

根據(jù)本發(fā)明的基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法，其中，將應(yīng)用的負(fù)載IO流表示成一個(gè)二元組Tp,Lt，其中Tp和Lt分別表示IO吞吐量IOPS和響應(yīng)時(shí)間。

根據(jù)本發(fā)明的基于IO加權(quán)公平排隊(duì)的存儲(chǔ)服務(wù)質(zhì)量保障方法，其中，底層物理存儲(chǔ)實(shí)體為硬盤(pán)或硬盤(pán)陣列。