[發(fā)明專利]CDN熱點(diǎn)資源處理方法、系統(tǒng)及全局熱片調(diào)度系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910504807.1
• 申請日: 2019-06-12
• 公開（公告）號(hào): CN110233892A
• 公開（公告）日: 2019-09-13
• 發(fā)明（設(shè)計(jì)）人: 邵燦
• 申請（專利權(quán)）人: 湖南快樂陽光互動(dòng)娛樂傳媒有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 長沙正奇專利事務(wù)所有限責(zé)任公司 43113
• 代理人: 王娟

本發(fā)明公開了一種CDN熱點(diǎn)資源處理方法、系統(tǒng)及全局熱片調(diào)度系統(tǒng)，統(tǒng)計(jì)一個(gè)周期內(nèi)用戶請求的文件；判斷用戶請求的文件是否為熱片文件，若是熱片文件，則進(jìn)行熱片調(diào)度；所述熱片文件包含極熱文件、次熱文件。本發(fā)明能準(zhǔn)確識(shí)別熱片文件，并進(jìn)行熱片調(diào)度，能夠使熱片文件集中服務(wù)。熱片越集中相應(yīng)節(jié)點(diǎn)機(jī)的回源量就越少，IO操作，內(nèi)存使用率交換頻率也會(huì)越少，所以能有效提升該節(jié)點(diǎn)機(jī)服務(wù)質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及內(nèi)容分發(fā)網(wǎng)絡(luò)，特別是一種CDN熱點(diǎn)資源處理方法及系統(tǒng)。

背景技術(shù)

調(diào)度器是在很多大型系統(tǒng)中都存在的一個(gè)子系統(tǒng)，調(diào)度器的功能主要是為用戶分配合適的資源地址，供用戶使用。但由于某些資源的特殊性，可能導(dǎo)致最終分配給用戶的資源地址，并非那么合理，下述以芒果TV為例說明。

芒果TV是一個(gè)主打綜藝節(jié)目的視頻平臺(tái)，平臺(tái)有非常多的熱門綜藝，如我是歌手、明星大偵探、快樂大本營等等，這些綜藝節(jié)目有以下共同特點(diǎn)，1、定期更新，2、熱度高訪問集中。比如明星大偵探每周五12點(diǎn)會(huì)在芒果TV準(zhǔn)時(shí)上線，在上線之后一段時(shí)間內(nèi)，明星大偵探的最新一集的熱度會(huì)非常高。這一時(shí)間段內(nèi)，明星大偵探占全平臺(tái)的VV比（即某一視頻的播放量占全平臺(tái)的播放量百分比）也會(huì)快速升高，CDN調(diào)度器如果未充分考慮到這一現(xiàn)象背后的邏輯，還依據(jù)原有的調(diào)度邏輯給用戶分配資源，將可能影響到用戶的使用體驗(yàn)，并增加系統(tǒng)的不穩(wěn)定性。

傳統(tǒng)方案由于節(jié)點(diǎn)機(jī)存儲(chǔ)能力有限，無法保證每臺(tái)節(jié)點(diǎn)機(jī)都是全副本，即包含全部的文件。以至于分發(fā)系統(tǒng)在分發(fā)時(shí)，不得不將文件分散到不同的節(jié)點(diǎn)機(jī)上面進(jìn)行存儲(chǔ)。這樣一來，每個(gè)文件在每個(gè)機(jī)房很可能就只有一份數(shù)據(jù)，該數(shù)據(jù)可能存儲(chǔ)在該機(jī)房中的某一臺(tái)節(jié)點(diǎn)機(jī)上面。而當(dāng)該節(jié)點(diǎn)機(jī)由于資源問題，比如帶寬、內(nèi)存、CPU等因素，導(dǎo)致無法為新用戶提供服務(wù)，但新用戶又必須要使用該節(jié)點(diǎn)機(jī)上面的文件，那么CDN系統(tǒng)將執(zhí)行內(nèi)部回源操作?；卦床僮鬟^程如下，假設(shè)存儲(chǔ)該文件F的節(jié)點(diǎn)機(jī)叫A，A無法提供服務(wù)，CDN系統(tǒng)將使用B機(jī)器提供服務(wù)。如果B機(jī)器上面沒有存儲(chǔ)文件F，那么B機(jī)器將從A機(jī)器下載文件F。當(dāng)然可以邊下載邊給該用戶提供服務(wù)，該過程就叫內(nèi)部回源。

上述過程很明顯給用戶提供服務(wù)時(shí)多了一個(gè)環(huán)節(jié)。那就是B機(jī)器必須要從A機(jī)器回源文件F才能給用戶提供服務(wù)，而且該過程比較耗時(shí)，受諸多因素影響，很有可能會(huì)影響對用戶的服務(wù)質(zhì)量。所以如果能夠降低此類場景的出現(xiàn)，對提升CDN系統(tǒng)整體服務(wù)質(zhì)量至關(guān)重要。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是，針對現(xiàn)有技術(shù)不足，提供一種CDN熱點(diǎn)資源處理方法及系統(tǒng)。解決熱門節(jié)目上線或熱點(diǎn)事件爆發(fā)導(dǎo)致平臺(tái)的熱點(diǎn)過度集中，帶來大量回源操作，導(dǎo)致平臺(tái)不穩(wěn)定因素增加，服務(wù)質(zhì)量下降的問題。

為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：一種CDN熱點(diǎn)資源處理方法，該方法主要實(shí)現(xiàn)過程為：

統(tǒng)計(jì)一個(gè)周期內(nèi)用戶請求的文件；

判斷用戶請求的文件是否為熱片文件，若是熱片文件，則進(jìn)行熱片調(diào)度；所述熱片文件包含極熱文件、次熱文件。

進(jìn)行熱片調(diào)度前，還進(jìn)行如下處理：將熱片文件列表，并發(fā)送至分發(fā)系統(tǒng)進(jìn)行散片，讓更多的節(jié)點(diǎn)機(jī)能夠?qū)υ撐募峁┓?wù)，提前防備流量激增的問題。

對熱片文件進(jìn)行散片的具體操作過程為：對于極熱文件，確保該文件在全網(wǎng)50%的節(jié)點(diǎn)機(jī)中都存在；對于次熱文件，確保該文件在全網(wǎng)10%的節(jié)點(diǎn)機(jī)中都存在。

熱片調(diào)度過程中，將熱片文件集中到某一節(jié)點(diǎn)機(jī)上進(jìn)行服務(wù)，因?yàn)閱闻_(tái)節(jié)點(diǎn)機(jī)服務(wù)能力是有限的，如果熱片集中，那么冷片將減少，相應(yīng)的節(jié)點(diǎn)機(jī)回源量、IO操作、內(nèi)存交換等都會(huì)減少，如此將可以顯著改善節(jié)點(diǎn)機(jī)的服務(wù)質(zhì)量。

判斷用戶請求的文件是否為熱片文件的具體實(shí)現(xiàn)過程包括：按文件被請求次數(shù)從高到低排序，并將下載次數(shù)超過預(yù)設(shè)閾值A(chǔ)的文件定義為極熱文件，下載次數(shù)超過預(yù)設(shè)閾值B的文件定義為次熱文件。