[發(fā)明專利]視頻資源數(shù)據(jù)的獲取方法及其系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310741187.6
• 申請日: 2013-12-26
• 公開（公告）號: CN103699661A
• 公開（公告）日: 2014-04-02
• 發(fā)明（設(shè)計）人: 曹坤波;鄭磊
• 申請（專利權(quán)）人: 樂視網(wǎng)信息技術(shù)（北京）股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許志勇

技術(shù)領(lǐng)域

本發(fā)明涉及信息檢索技術(shù)，尤其涉及一種視頻資源數(shù)據(jù)的獲取方法及其系統(tǒng)。

背景技術(shù)

隨著科技的發(fā)展，越來越多的用戶通過互聯(lián)網(wǎng)搜索并觀看各種視頻節(jié)目。由于互聯(lián)網(wǎng)提供的視頻信息十分豐富，用戶搜索十分方便，并且網(wǎng)絡(luò)視頻具有不斷變化及更新速度快的特點。

一般地，視頻網(wǎng)站的視頻資源的來源主要有：擁有版權(quán)的自有視頻數(shù)據(jù)、其他合作方制動推送的視頻數(shù)據(jù)、用戶上傳的視頻數(shù)據(jù)（UGC）。除了上述的數(shù)據(jù)來源之外，通過網(wǎng)絡(luò)抓取方式獲得的視頻數(shù)據(jù)也是比較重要的來源之一。

但是，在全網(wǎng)數(shù)據(jù)增量的模式下，如何有效地抓取視頻數(shù)據(jù)以及如何抓取到整潔、干凈的視頻數(shù)據(jù)，是亟需解決的技術(shù)問題。因此有必要提出改進(jìn)的技術(shù)方案解決上述問題。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種視頻資源數(shù)據(jù)的獲取方法及其系統(tǒng)，以解決現(xiàn)有技術(shù)存在的抓取視頻數(shù)據(jù)效率低下的問題。

為了解決上述問題，根據(jù)本發(fā)明的一方面，提供了一種視頻資源數(shù)據(jù)的獲取方法，其包括：根據(jù)所提供的抓取入口獲取視頻數(shù)據(jù)的列表頁面；根據(jù)視頻數(shù)據(jù)的列表頁面獲取視頻數(shù)據(jù)的信息承載頁面；抓取所述信息承載頁面所承載的視頻數(shù)據(jù)。

其中，所述方法還包括：根據(jù)預(yù)先設(shè)置的模板匹配所述信息承載頁面所承載的視頻數(shù)據(jù)，解析得到視頻數(shù)據(jù)的多維度的信息，包括：標(biāo)題信息、簡介信息、集數(shù)信息、視頻時間信息。

其中，在所述抓取所述信息承載頁面所承載的視頻數(shù)據(jù)的步驟之后，所述方法還包括：刪除抓取到的所述視頻數(shù)據(jù)中的干擾信息，所述干擾信息包括：廣告信息、花絮信息、對外鏈接、排行榜信息。

其中，所述方法還包括：將抓取的視頻數(shù)據(jù)以文檔對象模型結(jié)構(gòu)存儲至數(shù)據(jù)庫中。

其中，所述信息承載頁面包括：視頻播放頁面、視頻信息展現(xiàn)頁面。

根據(jù)本發(fā)明的另一方面，還提供了一種視頻資源數(shù)據(jù)的獲取系統(tǒng)，其包括：第一獲取模塊，用于根據(jù)所提供的抓取入口獲取視頻數(shù)據(jù)的列表頁面；第二獲取模塊，用于根據(jù)視頻數(shù)據(jù)的列表頁面獲取視頻數(shù)據(jù)的信息承載頁面；抓取模塊，用于抓取所述信息承載頁面所承載的視頻數(shù)據(jù)。

其中，所述系統(tǒng)還包括：解析模塊，用于根據(jù)預(yù)先設(shè)置的模板匹配所述信息承載頁面所承載的視頻數(shù)據(jù)，解析得到視頻數(shù)據(jù)的多維度的信息，包括：標(biāo)題信息、簡介信息、集數(shù)信息、視頻時間信息。

其中，所述系統(tǒng)還包括：刪除模塊，用于刪除抓取到的所述視頻數(shù)據(jù)中的干擾信息，所述干擾信息包括：廣告信息、花絮信息、對外鏈接、排行榜信息。

其中，所述系統(tǒng)還包括：存儲模塊，用于將抓取的視頻數(shù)據(jù)以文檔對象模型結(jié)構(gòu)存儲至數(shù)據(jù)庫中。

其中，所述信息承載頁面包括：視頻播放頁面、視頻信息展現(xiàn)頁面。

根據(jù)本發(fā)明的技術(shù)方案，通過抓取入口獲取視頻數(shù)據(jù)的列表頁面，根據(jù)列表頁面獲取視頻數(shù)據(jù)的信息承載頁面，并抓取信息承載頁面所承載的視頻數(shù)據(jù)，實現(xiàn)了全網(wǎng)視頻數(shù)據(jù)有效地抓取，提高了視頻數(shù)據(jù)的抓取效率。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：

圖1是根據(jù)本發(fā)明一個實施例的視頻資源數(shù)據(jù)的獲取方法的流程圖；

圖2是根據(jù)本發(fā)明另一實施例的視頻資源數(shù)據(jù)的獲取方法的流程圖；

圖3是根據(jù)本發(fā)明一個實施例的視頻資源數(shù)據(jù)的獲取系統(tǒng)的結(jié)構(gòu)框圖；

圖4是根據(jù)本發(fā)明另一實施例的視頻資源數(shù)據(jù)的獲取系統(tǒng)的結(jié)構(gòu)框圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，以下結(jié)合附圖及具體實施例，對本發(fā)明作進(jìn)一步地詳細(xì)說明。

根據(jù)本發(fā)明的實施例，提供了一種視頻資源數(shù)據(jù)的獲取方法。

圖1是根據(jù)本發(fā)明實施例的視頻資源數(shù)據(jù)的獲取方法的流程圖，如圖1所示，該方法包括：

步驟S102，根據(jù)所提供的抓取入口獲取視頻數(shù)據(jù)的列表頁面。

其中，列表頁面是展示有眾多視頻資源數(shù)據(jù)列表的網(wǎng)頁，列表頁面可以有多頁。通過提供的抓取入口（例如視頻網(wǎng)站的網(wǎng)絡(luò)接口，通過次接口可以抓取網(wǎng)站各頁面的數(shù)據(jù)）可以獲取視頻數(shù)據(jù)的列表頁面。

步驟S104，根據(jù)視頻數(shù)據(jù)的列表頁面獲取視頻數(shù)據(jù)的信息承載頁面。