[發明專利]獲取網頁中網頁元素的系統及方法

有效

• 申請號: 200610168299.7
• 申請日: 2006-12-25
• 公開（公告）號: CN101075242A
• 公開（公告）日: 2007-11-21
• 發明（設計）人: 方斌
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L12/00
• 代理公司: 北京德琦知識產權代理有限公司
• 代理人: 宋志強;麻海明

技術領域

本發明涉及網頁瀏覽技術領域，特別是一種獲取網頁中網頁元素的系統以及一種獲取網頁中網頁元素的方法。

背景技術

隨著因特網的發展和網頁制作技術的進步，WEB網頁上的網頁元素越來越多，例如，有普通的html網頁、jpg圖片、gif圖片、swf文件、腳本文件等等。同時，網頁元素的尺寸也越來越大。

由于受到硬件條件和網絡帶寬的限制，海量的用戶從少數服務器下載這些網頁元素需要花費大量的等待時間。另外，由于用戶和WEB服務器(SERVER)所處的地域的差異以及運營商的差異，也會導致用戶終端瀏覽網頁的速度存在顯著的差別，其中有些瀏覽非常慢。

為了解決WEB瀏覽的速度問題，現有技術中采用了很多方法，例如：

現有技術一：采用WEB?SERVER+內容分發網絡(CDN)的方式讓用戶就近接入，從較近的CDN下載網頁元素，從而提高網頁瀏覽的速度。

但是，該技術需要投入大量的資金和設備，一般只有大的門戶網站才有能力采取這種技術。

現有技術二：使用加速客戶端，如谷歌網頁加速器(Google?WebAccelerator)，其利用Google自己提供的服務器緩存(cache)網頁元素，在用戶端將用戶的瀏覽請求重定向到所提供的服務器上，通過訪問該服務器上的cache加速瀏覽。

上述方法都是利用服務器cache網頁內容的方式來加速用戶對網頁的瀏覽速度。但是，當用戶數量增大時，從服務器下載網頁元素的流量也隨之增大，此時很難再保持較快的速度。

發明內容

有鑒于此，本發明提出了一種獲取網頁中網頁元素的系統，其目的在于加速用戶端獲取網頁元素的速度。本發明的另一個目的是提出一種獲取網頁中網頁元素的方法。

根據上述目的，本發明提供了一種獲取網頁中網頁元素的系統，該系統包括：

網頁服務器，用于提供網頁中的網頁元素及其標識；

多個P2P服務器，每個P2P服務器分別存儲不同分段的下載過的網頁元素的標識及對應的下載該網頁元素的客戶端信息；

分段服務器，用于向客戶端提供不同分段的標識與P2P服務器之間的對應關系；

客戶端，包括瀏覽器和加速客戶端，瀏覽器用于通過HTTP方式，向網頁服務器提交下載網頁元素的代理請求；加速客戶端用于監聽瀏覽器的代理請求，根據瀏覽器代理請求中的網頁元素的標識，從所述分段服務器上下載所述不同分段的標識與P2P服務器之間的對應關系，并根據該對應關系和所要下載網頁元素的標識確定對應的P2P服務器，從所確定的P2P服務器上查詢與網頁元素的標識對應的客戶端信息，并根據客戶端信息以P2P方式下載網頁元素，以及在下載完網頁元素后將該網頁元素的標識及對應的本客戶端信息發布給所述P2P服務器。

所述客戶端的瀏覽器根據所下載的網頁元素瀏覽該網頁。所述客戶端進一步用于判斷所下載的網頁元素是否最新，并在不是最新時重新下載該網頁元素；和/或，所述客戶端進一步用于對所下載的網頁元素進行校驗，并在校驗沒有通過時重新下載該網頁元素。

所述客戶端進一步利用HTTP方式下載網頁元素，并結合HTTP方式和P2P方式下載的結果得到該網頁元素。

本發明還提供了一種獲取網頁中網頁元素的方法，預先設置分段服務器和多個P2P服務器，每個P2P服務器分別存儲不同分段的標識及對應的客戶端信息，分段服務器保存不同分段的標識與P2P服務器之間的對應關系；

該方法包括：

客戶端中的瀏覽器通過HTTP方式，向網頁服務器提交下載網頁元素的代理請求；

客戶端中的加速客戶端監聽瀏覽器的代理請求，根據瀏覽器請求中的網頁元素的標識，從所述分段服務器上下載所述不同分段的標識與P2P服務器之間的對應關系，并根據該對應關系和所要下載網頁元素的標識確定對應的P2P服務器，從所確定的P2P服務器上查詢與網頁中網頁元素的標識對應的客戶端信息，并根據客戶端信息以P2P方式下載該網頁元素；

客戶端在下載完網頁元素后，向所述P2P服務器發布該網頁元素的標識以及對應的本客戶端信息。

在上述技術方案中，所述分段為根據標識的HASH值進行分段。

該方法進一步包括：客戶端判斷所下載的網頁元素是否最新，并在不是最新時重新下載該網頁元素；和/或，客戶端對所下載的網頁元素進行校驗，并在校驗沒有通過時重新下載該網頁元素。

優選地，所述客戶端還利用HTTP方式下載網頁元素，并結合HTTP方式和P2P方式下載的結果得到該網頁元素。