[發(fā)明專利]一種視頻內(nèi)容及內(nèi)容源爬取方法

在審

• 申請?zhí)枺?/td>: 201310022725.6
• 申請日: 2013-01-21
• 公開（公告）號: CN103945278A
• 公開（公告）日: 2014-07-23
• 發(fā)明（設(shè)計(jì)）人: 徐開誠;脫立恒;劉學(xué);靳巾;江佳偉
• 申請（專利權(quán)）人: 中國科學(xué)院聲學(xué)研究所;上海尚恩華科網(wǎng)絡(luò)科技股份有限公司
• 主分類號: H04N21/63
• 分類號: H04N21/63;H04N21/432;G06F17/30
• 代理公司: 北京法思騰知識產(chǎn)權(quán)代理有限公司 11318
• 代理人: 楊小蓉;楊青

1.一種視頻內(nèi)容爬取方法，所述方法包含：

步驟101）為每類視頻內(nèi)容設(shè)定初始爬取周期，按設(shè)定的爬取周期從內(nèi)容源爬取內(nèi)容并緩存；

步驟102）根據(jù)每類視頻內(nèi)容的內(nèi)容熱度和內(nèi)容源的內(nèi)容更新率動(dòng)態(tài)調(diào)整其爬取周期，并依據(jù)更新后的爬取周期對內(nèi)容源進(jìn)行內(nèi)容爬取和緩存；

其中，所述動(dòng)態(tài)調(diào)整爬取周期的原則為：當(dāng)某類視頻內(nèi)容的本地?zé)岫仍龈呋騼?nèi)容源更新率增高時(shí)，就縮短該類視頻內(nèi)容的爬取周期；而當(dāng)某類視頻內(nèi)容的本地?zé)岫冉档突騼?nèi)容源更新率降低時(shí)，則增大該類視頻內(nèi)容的爬取周期。

2.根據(jù)權(quán)利要求1所述的視頻內(nèi)容爬取方法，其特征在于，所述步驟101）之前還包含如下步驟：

并行從各個(gè)內(nèi)容源上爬取元信息，基于元信息并根據(jù)視頻的內(nèi)容主題、內(nèi)容名稱或內(nèi)容標(biāo)簽將視頻內(nèi)容對視頻進(jìn)行分類。

3.根據(jù)權(quán)利要求1所述的視頻內(nèi)容爬取方法，其特征在于，所述步驟102）進(jìn)一步包含如下子步驟：

步驟102-1）在當(dāng)前設(shè)定的爬取周期內(nèi)，統(tǒng)計(jì)所有類視頻內(nèi)容的本地訪問請求次數(shù)，當(dāng)在某段設(shè)定時(shí)間內(nèi)某類視頻內(nèi)容的訪問請求次數(shù)高于第一設(shè)定閾值時(shí)，縮短該類視頻內(nèi)容當(dāng)前設(shè)定的爬取周期；當(dāng)在某段設(shè)定時(shí)間段內(nèi)對某類視頻內(nèi)容的訪問請求次數(shù)小于第二設(shè)定閾值時(shí)，增大為該類視頻內(nèi)容設(shè)定的爬取周期；

步驟102-2）在一定的周期內(nèi)，統(tǒng)計(jì)所有類視頻內(nèi)容的內(nèi)容源更新率，當(dāng)更新率高于第三設(shè)定閾值時(shí)，縮短爬取周期；當(dāng)更新率低于第四設(shè)定閾值時(shí)，增大爬取周期。

4.根據(jù)權(quán)利要求1或3所述的視頻內(nèi)容爬取方法，其特征在于，縮短或增大的爬取周期的增量值ΔT為：

ΔT＝-αΔAccessed-βΔUpdated+γ

其中，ΔAccessed表示統(tǒng)計(jì)得到的上個(gè)爬取周期內(nèi)此類內(nèi)容訪問率，ΔUpdated表示統(tǒng)計(jì)得到的上個(gè)周期內(nèi)容源更新率，α、β和γ為調(diào)整倍率因子。

5.根據(jù)權(quán)利要求4所述的視頻內(nèi)容爬取方法，其特征在于，所述調(diào)整倍率因子的取值結(jié)合實(shí)際的業(yè)務(wù)確定。

6.一種并行內(nèi)容源爬取方法，所述方法包含：

步驟201)設(shè)定各內(nèi)容源的初始爬取周期；

步驟202）按初始設(shè)定周期進(jìn)行內(nèi)容源的元數(shù)據(jù)爬取；

步驟203）計(jì)算內(nèi)容源的內(nèi)容更新率；

步驟204）依據(jù)更新率調(diào)整設(shè)定的爬取周期，即：當(dāng)內(nèi)容源更新率增高時(shí)，縮短其爬取周期；當(dāng)內(nèi)容源更新率降低時(shí)，增大其爬取周期。

7.根據(jù)權(quán)利要求6所述的內(nèi)容源數(shù)據(jù)爬取方法，其特征在于，所述更新率的獲取方式為：將新爬取的元數(shù)據(jù)與本地已緩存的元數(shù)據(jù)進(jìn)行比較，得出周期內(nèi)容源的內(nèi)容更新數(shù)，對周期進(jìn)行歸一，得出更新率。