[發明專利]網絡資源文件的離線下載系統和方法

在審

• 申請號: 201110377975.2
• 申請日: 2011-11-24
• 公開（公告）號: CN103139241A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 劉剛;王福臣;黃琰
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

技術領域

本發明涉及網絡數據通信技術，尤其涉及一種網絡資源文件的離線下載系統和方法。

背景技術

網絡資源一般是指存儲在網絡上供用戶下載使用的數字化資源，包括：程序文件、視頻文件、音頻文件等。目前下載網絡資源的常用方式包括以下幾種：

(一)點對服務器技術(P2S，Peer?to?Server)，所有的網絡資源都存儲在某個大型下載網站的服務器中，用戶直接到該下載網站去下載資源文件，該種方式的下載速度可以得到保證，但資源分散、不易搜索。

(二)點對點技術(P2P，Peer-to-Peer)，又稱為對等技術。這種技術依賴網絡資源下載參與者設備的計算能力和帶寬，而不是把依賴都聚集在較少的幾臺服務器上。P2P技術在文件共享和下載方面得到了廣泛的應用。P2P一端的下載速度和另一端的上傳速度密切相關，由于中國用戶大多使用ADSL上網，ADSL的上傳速度并不快，僅幾十K速度，一些用戶還會人為限制上傳速度，這導致了P2P方式的上傳帶寬資源的缺乏，因此用戶會普遍感覺P2P的速度較慢慢。

(三)點對服務器和點(P2SP，Peer?to?Server&Peer)技術，就是下載不再像傳統方式那樣只能依賴服務器，內容的傳遞可以在網絡上的各個終端機器中進行。P2SP除了包含P2P以外，還包括服務器，即P2SP的“S”。P2SP有效地把原本孤立的服務器和其鏡像資源以及P2P資源整合到了一起。它在下載的穩定性和下載的速度上，都比傳統的P2P或P2S有了非常大的提高。P2SP基于用戶對服務器和用戶機制，不同于P2P，也不同于P2S，它不但支持P2P技術，同時還通過檢索數據庫(DB，data?base)把服務器資源和P2P資源整合到了一起，用戶下載一個文件的時候，會自動搜索其他資源，選擇合適的資源進行加速，這使得P2SP在下載的穩定性和下載的速度上，比傳統的P2P有了非常大的提高。

在P2SP技術當中，下載一個網絡資源文件，數據來源分為源下載鏈接、P2P網絡、第三方鏡像的輔助源，然后通過完整文件的唯一標識，比如通過消息摘要算法第五版(MD5)或者安全散列算法(SHA)計算得到的唯一標識，把文件統一串聯起來。圖1為現有的P2SP技術中網絡資源分享和下載的具體控制流程圖。參見圖1，所述P2SP網絡中包括下載客戶端、資源索引服務器、追蹤(Tracker)服務器、以及統計服務器。

所述下載客戶端主要用于：(11)定期向Tracker服務器匯報在線情況和本地擁有的資源信息；(12)通過源URL向資源索引服務器查詢多資源URL集合、HASH及文件校驗信息，從URL集合源下載數據；(13)同時向Tracker服務器查詢種子(Peer)；(14)完成下載任務后，向統計服務器匯報本次下載任務的下載時間、下載速度、下載結果、文件大小，下載的源鏈接和不同URL源獲取的下載速度和下載時間；(15)下載過程當中發現下載到完成的數據分片后，進行校驗，如果發現分片錯誤，向統計服務器上報。

所述資源索引服務器主要用于：(21)接收下載客戶端(包括云端的離線下載服務器)通過URL作為索引的入口查詢文件HASH；(22)接收下載客戶端(包括云端的離線下載服務器)通過URL作為索引的入口查詢下載的多URL資源集合；(23)提供分片文件校驗信息，供下載客戶端校驗下載數據的有效性。

所述資源索引數據庫主要用于：保存P2SP系統中所有URL資源數據庫的索引和資源記錄。

所述Tracker服務器用于：(31)為每個申請加入網絡的下載客戶端提供注冊，并反饋其所擁有該資源節點的IP地址列表；(32)接收下載客戶端的在線情況匯報，生成各資源的節點列表并在有節點申請下載該任務時進行反饋；(33)接收帶寬調度服務器同步的Peer在線控制策略，在Peer登陸的時候下發到Peer下載客戶端。

所述統計服務器用于：接受下載客戶端的下載完成和下載過程中URL下載速度，下載時間，連通情況，下載結果，文件大小等信息的上報，并寫成流水日志的方式供后續統計分析。