[發明專利]一種頁面的下載方法及客戶端

在審

• 申請號: 201611196293.0
• 申請日: 2016-12-22
• 公開（公告）號: CN106649719A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 竇志成;亞振釗
• 申請（專利權）人: 北京一覽群智數據科技有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中創陽光知識產權代理有限責任公司11003
• 代理人: 尹振啟

技術領域

本發明涉及網頁下載技術，尤其涉及一種頁面的下載方法及客戶端。

背景技術

為了增強訪問網絡頁面的速度，一般使用多線程并發的方式訪問網絡頁面。通過線程訪問頁面時會生成會話標識(session id)，以及下載頁面所需的cookie文件。這種頁面訪問方式對每個線程訪問的頁面順序要求比較嚴格，在前一頁面沒有下載成功之前，線程不能繼續后續的下載，否則可能會因cookie問題導致返回的頁面不符合預期，也不易進行分布式部署。

此外，由于會話是在線程訪問頁面時生成，對一些入口頁面要求較高(比如有驗證碼、或使用邏輯復雜的渲染方式生成cookie的頁面)的訪問，用現有的頁面訪問方式很難實現。

發明內容

為解決上述技術問題，本發明實施例提供了一種頁面的下載方法及客戶端。

本發明實施例提供的頁面的下載方法，包括：

獲取頁面的鏈接數據；

基于所述鏈接數據，在數據庫中查詢是否存在與所述鏈接數據相對應的cookie信息；

當查詢到存在與所述鏈接數據相對應的cookie信息時，

識別所述cookie信息，若所述cookie信息為cookie文件，則利用所述cookie文件下載所述頁面，若所述cookie信息為cookie的配置文件時，利用所述配置文件獲取cookie文件，并利用獲取的cookie文件下載所述頁面。

本發明實施例中，所述當查詢到存在與所述鏈接數據相對應的cookie信息，且所述cookie信息為cookie的配置文件時，利用所述配置文件下載cookie文件，包括：

判斷所述數據庫中是否存在與所述配置文件相對應的cookie文件；

若不存在，利用所述配置文件下載cookie文件；

若存在，從所述數據庫中獲取與所述配置文件相對應的cookie文件。

本發明實施例中，所述方法還包括：

當利用所述配置文件下載cookie文件之后，所述方法還包括：

將下載的cookie文件存入所述數據庫中，并在所述數據庫中建立下載的cookie文件與所述cookie的配置文件之間的對應關系。

本發明實施例中，所述方法還包括：

當查詢到不存在與所述鏈接數據相對應的cookie信息時，直接基于所述鏈接數據下載所述頁面。

本發明實施例提供的客戶端，包括：

獲取單元，用于獲取頁面的鏈接數據；

查詢單元，用于基于所述鏈接數據，在數據庫中查詢是否存在與所述鏈接數據相對應的cookie信息；

第一處理單元，用于當查詢到存在與所述鏈接數據相對應的cookie信息，且所述cookie信息為cookie文件時，利用所述cookie文件下載所述頁面；

第二處理單元，用于當查詢到存在與所述鏈接數據相對應的cookie信息，且所述cookie信息為cookie的配置文件時，利用所述配置文件下載cookie文件，并利用所述cookie文件下載所述頁面。

本發明實施例中，所述第二處理單元包括：

判斷子單元，用于當查詢到存在與所述鏈接數據相對應的cookie信息，且所述cookie信息為cookie的配置文件時，判斷所述數據庫中是否存在與所述配置文件相對應的cookie文件；

下載子單元，用于當所述數據庫中不存在與所述配置文件相對應的cookie文件時，利用所述配置文件下載cookie文件。

本發明實施例中，所述下載子單元，還用于當所述數據庫中存在與所述配置文件相對應的cookie文件時，直接利用所述cookie文件下載所述頁面。

本發明實施例中，所述客戶端還包括：

存儲單元，用于利用所述配置文件下載cookie文件之后，將下載的cookie文件存入所述數據庫中，并建立所述cookie的配置文件與所述cookie文件之間的映射關系。

本發明實施例中，所述裝置還包括：

第三處理單元，用于當查詢到不存在與所述鏈接數據相對應的cookie信息時，直接下載所述頁面。