[發明專利]網頁內容數據獲取方法及服務器

無效

• 申請號: 201110181418.3
• 申請日: 2011-06-30
• 公開（公告）號: CN102364461A
• 公開（公告）日: 2012-02-29
• 發明（設計）人: 梁捷;江蔚然;陳嘉彬;潘連銓
• 申請（專利權）人: 廣州市動景計算機科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 林錦輝

1.一種網頁內容數據獲取方法，所述方法由服務器執行，所述方法包括：

服務器根據預存的系統配置文件所生成的預抓取策略，從網頁服務器中 獲取網頁內容數據，并緩存于緩存存儲器中；

其中，當接收到瀏覽器客戶端發起的網頁訪問請求時，服務器將緩存存 儲器中預先緩存的相應網頁內容數據傳送到瀏覽器客戶端。

2.如權利要求1所述的方法，其中，在獲取并將網頁內容數據緩存在緩 存存儲器中之后，所述方法還包括：

確定所述緩存存儲器中存儲的網頁內容數據是否需要更新，并且

在確定出需要更新時，從所述網頁服務器獲取所述被更新的網頁內容數 據；

利用所獲取的被更新的網頁內容數據對存儲在緩存存儲器中的該網頁內 容數據進行更新。

3.如權利要求2所述的方法，其中，確定所述緩存存儲器中存儲的網頁 內容數據是否需要更新包括：

根據所述預抓取策略，定期檢查所述網頁服務器中的網頁內容數據是否 被更新，

在檢查到所述網頁服務器中的網頁內容數據被更新時，確定所述緩存存 儲器中存儲的網頁內容數據需要更新。

4.如權利要求2所述的方法，其中，確定所述緩存存儲器中存儲的網頁 內容數據是否需要更新包括：

根據所述緩存存儲器中存儲的網頁內容數據的頁面有效性，確定所述緩 存存儲器中存儲的網頁內容數據是否需要更新。

5.按照權利要求1所述的方法，其中，所述預抓取策略基于系統配置文 件的更新來更新。

6.按照權利要求1所述的方法，其中，在緩存所獲取的網頁內容數據時， 還包括：

判斷所獲取的網頁內容數據中的網頁元素是否為無緩存策略元素；

在所獲取的網頁內容數據中的網頁元素是無緩存策略元素時，對所述網 頁元素進行預定次數的獲取；

如果所述預定次數獲取所獲取的網頁元素內容相同，則將所述網頁元素 強制存儲在所述緩存存儲器中，否則，不存儲所述網頁元素。

7.按照權利要求1所述的方法，其中，

當無法根據所述預抓取策略從所述網頁服務器抓取要獲取的網頁內容數 據中的網頁元素時，調整所述預抓取策略；

根據所述調整后的預抓取策略，對所述網頁元素進行預定次數的獲取；

如果獲取次數超出所述預定次數后仍無法獲取，則利用特定標識替換該 要獲取的網頁元素的內容并且將該特定標識作為該要獲取的網頁元素存儲到 緩存存儲器中。

8.如權利要求7所述的方法，其中，調整所述預抓取策略包括延長抓取 持續時間。

9.如權利要求1所述的方法，其中，所述緩存存儲器位于所述服務器中 或者位于另一服務器中。

10.一種用于網頁內容數據獲取的服務器，包括：

預抓取策略生成模塊，用于基于在所述服務器中存儲的系統配置文件， 生成預抓取策略；

網頁內容獲取模塊，用于根據所生成的預抓取策略，從網頁服務器預先 獲取要抓取的網頁內容數據；

網頁內容存儲模塊，用于將所獲取的網頁內容數據存儲在緩存存儲器中； 以及

發送模塊，用于在接收到瀏覽器客戶端發起的網頁訪問請求后，將緩存 存儲器中預先緩存的相應網頁內容數據傳送到瀏覽器客戶端。

11.如權利要求10所述的服務器，還包括：

確定模塊，用于確定所述緩存存儲器中存儲的網頁內容數據是否需要更 新，

在所述確定模塊確定需要更新時，所述網頁內容獲取模塊從所述網頁服 務器獲取所述被更新的網頁內容數據，并且所述服務器還包括網頁內容更新 模塊，用于利用所述網頁內容獲取模塊所獲取的被更新的網頁內容數據對存 儲在緩存存儲器中的該網頁內容數據進行更新。