[發明專利]網頁內容數據獲取方法及服務器

無效

• 申請號: 201110181418.3
• 申請日: 2011-06-30
• 公開（公告）號: CN102364461A
• 公開（公告）日: 2012-02-29
• 發明（設計）人: 梁捷;江蔚然;陳嘉彬;潘連銓
• 申請（專利權）人: 廣州市動景計算機科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 林錦輝

技術領域

本發明涉及移動通信領域，具體地，涉及一種網頁內容數據獲取方法及 服務器。

背景技術

目前，當用戶使用瀏覽器訪問某個網站頁面時，通常是由中間件服務器 先檢查緩存(memcache)存儲器是否已保存了該網站頁面的數據，如果緩存 存儲器沒有保存該網站頁面的數據，中間件服務器再向該網站網頁服務器請 求獲取頁面數據內容。由于中間件服務器向網站的網頁服務器請求獲取網頁 內容數據內容的速度比中間件服務器從緩存存儲器中獲取頁面數據內容的速 度慢，因而這種獲取所需網頁內容數據的過程比較耗時。尤其是，用戶在訪 問一些大型門戶網站或者國內排名前100的網站等常用網站時，中間件服務 器需要頻繁地從網頁服務器拉取所需的頁面數據，因而大大地降低了用戶瀏 覽網頁的速度，使用戶的上網體驗不佳。

因此，在用戶瀏覽網頁過程中，如何有效地減少中間件服務器需要頻繁 到網頁服務器獲取所需網頁內容數據的客觀限制，從而加快用戶在瀏覽網頁 過程中獲得所需頁面內容的速度，是當前急需解決的問題。

發明內容

為了克服現有技術存在的上述問題，本發明提供一種網頁內容數據獲取 方法及服務器，能夠在用戶瀏覽過程中減少服務器頻繁到網頁服務器獲取所 需網頁內容數據的情況，顯著提高用戶瀏覽網頁的速度，從而有效地避免了 現有技術的上述缺陷。

根據本發明的一個方面，提供一種網頁內容數據獲取方法，所述方法由 服務器執行，所述方法包括：服務器根據預存的系統配置文件所生成的預抓 取策略，從網頁服務器中獲取網頁內容數據，并緩存于緩存存儲器中；其中， 當接收到瀏覽器客戶端發起的網頁訪問請求時，服務器將緩存存儲器中預先 緩存的相應網頁內容數據傳送到瀏覽器客戶端。

優選地，在獲取并將網頁內容數據緩存在緩存存儲器中之后，所述方法 還包括：確定所述緩存存儲器中存儲的網頁內容數據是否需要更新，并且在 確定出需要更新時，從所述網頁服務器獲取所述被更新的網頁內容數據；利 用所獲取的被更新的網頁內容數據對存儲在緩存存儲器中的該網頁內容數據 進行更新。

優選地，確定所述緩存存儲器中存儲的網頁內容數據是否需要更新包括： 根據所述預抓取策略，定期檢查所述網頁服務器中的網頁內容數據是否被更 新，在檢查到所述網頁服務器中的網頁內容數據被更新時，確定所述緩存存 儲器中存儲的網頁內容數據需要更新。

優選地，確定所述緩存存儲器中存儲的網頁內容數據是否需要更新包括： 根據所述緩存存儲器中存儲的網頁內容數據的頁面有效性，確定所述緩存存 儲器中存儲的網頁內容數據是否需要更新。

優選地，所述預抓取策略基于系統配置文件的更新來更新。

優選地，在緩存所獲取的網頁內容數據時，還包括：判斷所獲取的網頁 內容數據中的網頁元素是否為無緩存策略元素；在所獲取的網頁內容數據中 的網頁元素是無緩存策略元素時，對所述網頁元素進行預定次數的獲取；如 果所述預定次數獲取所獲取的網頁元素內容相同，則將所述網頁元素強制存 儲在所述緩存存儲器中，否則，不存儲所述網頁元素。

優選地，當無法根據所述預抓取策略從所述網頁服務器抓取要獲取的網 頁內容數據中的網頁元素時，調整所述預抓取策略；根據所述調整后的預抓 取策略，對所述網頁元素進行預定次數的獲取；如果獲取次數超出所述預定 次數后仍無法獲取，則利用特定標識替換該要獲取的網頁元素的內容并且將 該特定標識作為該要獲取的網頁元素存儲到緩存存儲器中。

優選地，調整所述預抓取策略包括延長抓取等待時間。

優選地，所述緩存存儲器位于所述服務器中或者位于另一服務器中。

根據本發明的另一個方面，提供一種用于網頁內容數據獲取的服務器， 包括：預抓取策略生成模塊，用于基于在所述服務器中存儲的系統配置文件， 生成預抓取策略；網頁內容獲取模塊，用于根據所生成的預抓取策略，從網 頁服務器預先獲取要抓取的網頁內容數據；網頁內容存儲模塊，用于將所獲 取的網頁內容數據存儲在緩存存儲器中；以及發送模塊，用于在接收到瀏覽 器客戶端發起的網頁訪問請求后，將緩存存儲器中預先緩存的相應網頁內容 數據傳送到瀏覽器客戶端。