[發(fā)明專利]一種IPTV應(yīng)用的IO加速方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201010611500.0
• 申請(qǐng)日: 2010-12-17
• 公開（公告）號(hào): CN102123318A
• 公開（公告）日: 2011-07-13
• 發(fā)明（設(shè)計(jì)）人: 許建衛(wèi);袁清波;劉新春
• 申請(qǐng)（專利權(quán)）人: 曙光信息產(chǎn)業(yè)（北京）有限公司
• 主分類號(hào): H04N21/433
• 分類號(hào): H04N21/433
• 代理公司: 北京安博達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國文

技術(shù)領(lǐng)域

本發(fā)明涉及存儲(chǔ)系統(tǒng)性能優(yōu)化領(lǐng)域，具體涉及一種通過對(duì)IPTV應(yīng)用的IO模式分析，采用聚合和預(yù)取的策略來加速IPTV應(yīng)用的IO性能的方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，基于網(wǎng)絡(luò)的視頻服務(wù)(IPTV)也逐漸成為學(xué)術(shù)界和工業(yè)界的焦點(diǎn)。目前常見的IPTV應(yīng)用包括在線直播(Live?Stream)和在線點(diǎn)播(Video?On?Demand)等，并且一些新興的IPTV應(yīng)用如時(shí)移在線直播(TimeShift?Live?Stream)也開始出現(xiàn)。

IPTV應(yīng)用具有高并發(fā)和實(shí)時(shí)兩大需求。高并發(fā)指的是對(duì)于同一服務(wù)器來說，需要同時(shí)提供上千個(gè)終端用戶的訪問能力，每個(gè)終端用戶可以訪問相同或不同的視頻文件。而實(shí)時(shí)則是用戶端看到的視頻文件必須是連續(xù)的，因此服務(wù)器端需要在固定的時(shí)間閾值內(nèi)，完成接到客戶端的IO請(qǐng)求并給出相應(yīng)的數(shù)據(jù)。

IPTV應(yīng)用中客戶端收到請(qǐng)求后將數(shù)據(jù)請(qǐng)求發(fā)送給服務(wù)器端，服務(wù)器端從存儲(chǔ)設(shè)備上讀取數(shù)據(jù)并通過網(wǎng)絡(luò)返回到客戶端，最終客戶端對(duì)請(qǐng)求后的數(shù)據(jù)進(jìn)行解碼并顯示。可以看出，整個(gè)過程中計(jì)算密集的解碼部分主要在客戶端，而服務(wù)器端則是IO密集的，因此提高服務(wù)器端的IO能力是IPTV應(yīng)用的核心。

服務(wù)器端IO能力受限主要受制于兩個(gè)方面的原因：首先是IPTV應(yīng)用的模式在服務(wù)器端的計(jì)算和IO比例失衡，在計(jì)算能力富余的情況下，系統(tǒng)負(fù)載會(huì)逐漸加壓到服務(wù)器端的IO上，直到IO成為瓶頸為止，而此時(shí)計(jì)算能力尚有大量富余。另一方面，IPTV應(yīng)用中，雖然每個(gè)每個(gè)客戶端的請(qǐng)求都是順序的，但多個(gè)順序的請(qǐng)求到了服務(wù)器端后會(huì)交織在一起，而這些請(qǐng)求來自不同文件的不同位置，從而導(dǎo)致了對(duì)整個(gè)磁盤的訪問呈現(xiàn)出無序的狀態(tài)。而目前IPTV應(yīng)用中，由于視頻文件數(shù)據(jù)量較大，而傳統(tǒng)的溫切斯特磁盤具有容量大價(jià)格低的特點(diǎn)，所以在IPTV應(yīng)用中廣為使用。但溫切斯特磁盤由于磁臂是機(jī)械裝置，所以對(duì)于這種無序的訪問效率非常低。

為了解決上述問題，一些優(yōu)化方案也逐漸被提出。常見的包括兩種：

多個(gè)單盤模式：由于服務(wù)器端數(shù)據(jù)量龐大，因此所需的磁盤空間也較大，相應(yīng)的磁盤個(gè)數(shù)較多。這種情況下，這些磁盤有兩種組織方式。一種是將多個(gè)磁盤通過RAID等機(jī)制組織成為單盤，這種方法的優(yōu)點(diǎn)是整個(gè)存儲(chǔ)空間被共享，方便服務(wù)器端的負(fù)載分配和平衡。缺點(diǎn)是由于每個(gè)文件都被分布在多個(gè)磁盤上，因此每個(gè)文件的訪問需要訪問多個(gè)磁盤，導(dǎo)致了并發(fā)模式下性能下降。而且，這種模式下，RAID卡自身也很容易成為系統(tǒng)的性能瓶頸，系統(tǒng)擴(kuò)展性有限；另一種組織方式則是將多個(gè)磁盤組織成單盤模式。在文件數(shù)目足夠多的情況下，可以近似將這些文件的分布認(rèn)為是一種均勻分布。這種情況下，將多個(gè)文件均勻的放置在不同的磁盤上，負(fù)載也是近乎均勻的。這種情況下，訪問每個(gè)文件只涉及單塊磁盤，因此高并發(fā)模式下系統(tǒng)性能較高。而且由于沒有RAID卡的單點(diǎn)瓶頸，系統(tǒng)的可擴(kuò)展性也大為提高。

客戶端或服務(wù)器端用戶態(tài)預(yù)取：由于每個(gè)客戶端的訪問以順序模式為主，因此可以將每個(gè)客戶端到來的小的請(qǐng)求擴(kuò)展為大粒度的請(qǐng)求，使得每次請(qǐng)求時(shí)都以較大粒度來訪問磁盤。由于磁盤在大粒度訪問時(shí)，訪問模式對(duì)性能影響并不明顯，因此這種方式也可以帶來系統(tǒng)性能的提升。但這種模式仍未將磁盤系統(tǒng)性能發(fā)揮至最優(yōu)。因?yàn)榧词故窃诜?wù)器端用戶態(tài)的大粒度訪問，到了Linux操作系統(tǒng)內(nèi)部，也會(huì)被劃分為一個(gè)個(gè)小的基本IO請(qǐng)求(bio)，而Linux系統(tǒng)中IO調(diào)度層會(huì)對(duì)所有的基本IO請(qǐng)求做統(tǒng)一的接收和處理，這樣將會(huì)導(dǎo)致一個(gè)大粒度的訪問仍被打破成為小粒度的訪問。

發(fā)明內(nèi)容

本發(fā)明中針對(duì)IPTV應(yīng)用的IO模式特征，提出了一種在服務(wù)器端內(nèi)核態(tài)做緩存和預(yù)取的方法，可以將磁盤的性能充分發(fā)揮。

一種IPTV應(yīng)用的IO加速方法，增加了預(yù)取緩存層，

加速方法如下：

A、服務(wù)器檢測磁盤IO性能及客戶端訪問的IO壓力；

B、服務(wù)器根據(jù)到的檢測磁盤IO性能及客戶端訪問的IO壓力，確定預(yù)取策略，預(yù)取策略可以為保守式預(yù)取、貪婪式預(yù)取和滿足式預(yù)取；

其中，所述保守式預(yù)取即每次預(yù)取固定數(shù)量的緩沖區(qū)，客戶端訪問如果命中，則將緩沖區(qū)指針向前推進(jìn)；如果緩沖區(qū)指針已經(jīng)到達(dá)本次預(yù)取數(shù)據(jù)的尾部，則開始進(jìn)行下一個(gè)緩沖區(qū)的預(yù)取；

所述貪婪式預(yù)取即預(yù)取線程自動(dòng)探測系統(tǒng)的IO負(fù)載，只要IO負(fù)載沒有達(dá)到最大壓力，則對(duì)現(xiàn)有的各個(gè)客戶端繼續(xù)做預(yù)取，直到系統(tǒng)緩沖區(qū)用完或者IO負(fù)載無法再容忍更大的壓力為止；