[發明專利]網站數據采集方法及裝置

在審

• 申請號: 201310651539.9
• 申請日: 2013-12-03
• 公開（公告）號: CN103618649A
• 公開（公告）日: 2014-03-05
• 發明（設計）人: 杜璞;周凌燕;胡羽中
• 申請（專利權）人: 北京人民在線網絡有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/06
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

1.一種網站數據采集方法，其特征在于，包括：

預先在網絡爬蟲程序中設置用于登錄待采集網站的身份信息；所述身份信息包括登錄賬號和登錄密碼；

將所述身份信息寫入所述網站登錄頁面的登錄表單中；

對所述登錄表單進行加密發送給所述網站對應的服務器，以使所述服務器驗證所述身份信息的合法性；

接收所述服務器發送的用于訪問所述網站的標識碼；所述標識碼是由所述服務器驗證出所述身份信息合法后發送的；

在使用所述標識碼訪問所述網站各網頁的過程中，采用所述網絡爬蟲程序對所述網站進行數據采集。

2.根據權利要求1所述的網站數據采集方法，其特征在于，所述將所述身份信息寫入所述網站登錄頁面的登錄表單中之前，還包括：

向所述服務器發送訪問請求，以請求打開所述登錄頁面；

接收所述服務器發送的用于登錄所述網站的腳本文件；

從所述腳本文件中獲取用于加密的隨機碼和加密算法。

3.根據權利要求2所述的網站數據采集方法，其特征在于，所述從所述腳本文件中獲取用于加密的隨機碼和加密算法包括：

對所述腳本文件進行解析，得到所述隨機碼的第一統一資源定位符URL鏈接和所述加密算法的第二URL鏈接；

訪問所述第一URL鏈接獲取所述隨機碼，以及訪問所述第二URL鏈接獲取所述加密算法。

4.根據權利要求3所述的網站數據采集方法，其特征在于，所述對所述登錄表單進行加密發送給網站對應的服務器，以使所述服務器驗證所述身份信息的合法性包括：

采用所述隨機碼和所述加密算法對所述登錄表單進行加密；

將加密后的所述登錄表單攜帶在驗證請求中發送給所述服務器，以使所述服務器服務器驗證所述身份信息是否合法。

5.根據權利要求4所述的網站數據采集方法，其特征在于，所述腳本文件中攜帶所述服務器接收到所述訪問請求的時間戳；

將所述時間戳攜帶在所述驗證請求中發送給所述服務器，以使所述服務器根據所述時間戳和所述服務器的當時時間判斷所述登錄表單是否超時。

6.一種網站數據采集裝置，其特征在于，包括：

預設模塊，用于預先在網絡爬蟲程序中設置用于登錄待采集網站的身份信息；所述身份信息包括登錄賬號和登錄密碼；

寫入模塊，用于將所述身份信息寫入所述網站登錄頁面的登錄表單中；

加密模塊，用于對所述登錄表單進行加密并發送給網站對應的服務器，以使所述服務器驗證所述身份信息的合法性；

接收模塊，用于接收所述服務器發送的用于標識所述用戶的標識碼，其中所述標識碼是由所述服務器驗證出所述身份驗證合法后發送的；

采集模塊，用于在使用所述標識碼訪問所述網站各網頁的過程中，采用所述網絡爬蟲程序對所述網站進行數據采集。

7.根據權利要求6所述的網站數據采集裝置，其特征在于，還包括：

發送模塊，用于在所述寫入模塊將所述身份信息寫入所述網站登錄網頁的登錄表單中之前，向所述服務器發送訪問請求，以請求打開所述登錄頁面；

所述接收模塊，還用于接收所述服務器發送的用于登錄所述網站的腳本文件；

獲取模塊，用于從所述腳本文件獲取用于加密的隨機碼和加密算法。

8.根據權利要求7所述的網站數據采集裝置，其特征在于，所述獲取模塊具體用于對所述腳本文件進行解析，得到所述隨機碼的第一URL連接和所述加密算法的第二URL鏈接，訪問所述第一URL鏈接獲取所述隨機碼，以及訪問所述第二URL鏈接獲取所述加密算法。

9.根據權利要求8所述的網站數據采集裝置，其特征在于，所述加密模塊包括：

加密單元，用于采用所述隨機碼和所述加密算法對所述登錄表單進行加密；

發送單元，用于將加密后的所述登錄表單攜帶在驗證請求中發送給所述服務器，以使所述服務器驗證所述身份信息的合法性。

10.根據權利要求9所述的網站數據采集裝置，其特征在于，所述腳本文件中攜帶所述服務器接收到所述訪問請求的時間戳；

所述發送單元，還用于將所述時間戳攜帶在所述驗證請求中發送給所述服務器，以使所述服務器根據所述時間戳和所述服務器的當時時間判斷所述登錄表單是否超時。