[發明專利]在線視頻嗅探下載方法及裝置

有效

• 申請號: 201410098851.4
• 申請日: 2010-12-15
• 公開（公告）號: CN103905915B
• 公開（公告）日: 2017-06-16
• 發明（設計）人: 譚國強
• 申請（專利權）人: 北京小度互娛科技有限公司
• 主分類號: H04N21/4782
• 分類號: H04N21/4782;H04N21/858;H04L29/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王艷春,熊蘋

技術領域

本發明涉及一種在線視頻嗅探下載方法及裝置，尤其涉及一種用于獲取動態生成的視頻鏈接地址并下載該視頻的在線視頻嗅探下載方法及裝置。

背景技術

隨著互聯網技術的發展，各種視頻網站越來越多，用戶可以通過視頻網站進行視頻共享。然而，現有的視頻網站的視頻鏈接地址是一般是由JavaScript動態產生的，通過內容提取系統，如Spider這樣的工具對靜態頁面分析是無法得到動態產生的視頻鏈接真實地址的，通常視頻鏈接的真實地址只有在播放器，如Flash加載后通過瀏覽器向服務器發起請求時才能獲得。因此，現有的視頻網站大多只能通過相關網頁進行在線觀看，而不能將其下載到本地。

但是，在很多情況下，用戶是希望將視頻下載到本地的。例如，當用戶需要重復觀看曾經看過的視頻時，若能將該視頻下載到本地，則不僅觀看方便（無需再次查找），同時也節約了網絡流量，避免了網絡擁塞；另外，若用戶是搜索引擎開放商，則在更多的時候不僅需要視頻的鏈接地址，還需要下載該視頻，原因之一是：視頻文件本身存儲于第三方網站的服務器上，而第三方網站不會直接將視頻文件提交給搜索引擎（即使提交也存在作弊可能），所以需要通過下載得到第三方視頻網站的視頻文件，原因之二是：搜索引擎為得到更多關于該視頻的信息，如視頻的清晰度等，需要下載得到第三方視頻網站的視頻文件。

為解決上述的技術問題，中國專利申請第200910187783.0號公開了一種在線視頻自動下載的方法，該方法對被選擇的視頻網站和/或頻道進行監控，當有更新的在線視頻時，則判斷在線視頻地址是真實地址還是播放地址或播放鏈接，如果是真實地址，則直接進行下載，如果是播放地址或者播放鏈接，則先通過播放地址或鏈接打開該在線視頻，對經過本地網卡的數據進行嗅探，提取該在線視頻的真實地址進行下載。然而，該專利申請所公開的在線視頻自動下載方法，需要用戶打開某個播放頁面來獲取視頻鏈接，且只能一次打開一個頁面，不然無法將播放頁和網卡分析的視頻鏈接對應起來，操作繁瑣，且不能大規模應用，而對于搜索引擎開放商而言，能夠大規模應用是很重要的。

中國專利申請第200810180826.5號公開了一種針對視頻網站的廣域網爬蟲系統，其包括：用于提取網頁中的所有超鏈接的超鏈接掃描器；用于分析并提取網頁中的指向視頻的通用形式超鏈接的通用地址分析提取器；用于分析并提取網頁中的視頻的標識符號的視頻標識提取器；用于將所述視頻標識提取器提取的視頻標識符號合成播放器所需的網頁地址的播放地址合成器；用于在所述播放地址合成器合成的播放地址所指向的頁面中提取視頻真實存放地址的視頻真實地址提取器；用于保存在所述通用地址分析提取器中被提取的指向視頻的通用形式超鏈接的通用地址存儲庫；用于保存在所述視頻真實地址提取器中被提取的視頻真實存放地址超鏈接的真實地址存儲庫；用于下載在所述真實地址存儲庫中存儲的視頻真實存放地址超鏈接指向的視頻數據的視頻數據下載器；用于存儲在所述視頻數據下載器中下載的數據的視頻數據存儲庫；用于向所述超鏈接掃描器提供需要處理的超鏈接的超鏈接喂食器。通過該針對視頻網站的廣域網爬蟲系統可以有效地解決爬蟲系統無法采集廣域網中視頻網站數據的問題，可以為視頻爬蟲系統中的核心技術轉址功能提供通用框架，可以為搭建針對廣域網視頻的搜索引擎系統的重要組成部分視頻數據采集系統提供通用的搭建架構。但是，該針對視頻網站的廣域網爬蟲系統存在以下問題：

通用性較差：每個站點的標識來源和提取方法不同，每個站點的合成模板也不一樣，不能適合所有站點；

擴展性較差：標識的生成方法和模板變化了需要重新挖掘新的模板；

召回率有限：不是所有站點都采用這種方法來發布標識，也不是所有站點都是通過這種方法來生成視頻鏈接，很多視頻鏈接由網站的swf文件動態生成（有獨立的鏈接生成算法）；

視頻鏈接失效問題：很多站點生成的視頻鏈接和session有關，會失效，這種類型的視頻鏈接即使獲取到了，也無法下載。

有鑒于此，需要本發明提供一種改進的在線視頻嗅探下載方法和裝置。

發明內容

本發明的目的在于提供一種改進的在線視頻嗅探下載方法，該在線視頻嗅探下載方法可下載動態生成的視頻鏈接地址的視頻內容。

本發明的目的還在于提供一種實現上述在線視頻嗅探下載方法的視頻搜索裝置。

為實現上述發明目的之一，本發明的一種在線視頻嗅探下載方法，包括以下步驟：

一種在線視頻嗅探下載方法，其特征在于，所述在線視頻嗅探下載方法包括以下步驟：

S1、瀏覽器自動提取URL地址并發出網絡請求打開網絡頁面；