[發明專利]網站數據采集方法及裝置

在審

• 申請號: 201310651539.9
• 申請日: 2013-12-03
• 公開（公告）號: CN103618649A
• 公開（公告）日: 2014-03-05
• 發明（設計）人: 杜璞;周凌燕;胡羽中
• 申請（專利權）人: 北京人民在線網絡有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/06
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

技術領域

本發明涉及通信領域，尤其涉及一種網站數據采集方法及裝置。

背景技術

目前，多采用網絡爬蟲程序對網站的數據進行采集。其中，網絡爬蟲程序是一個沿著鏈接漫游網頁（Web）文檔集合的程序。該網絡爬蟲程序通過給定的統一資源標識符（Uniform?Resource?Locator，簡稱URL）鏈接，利用超文本傳輸協議（Hypertext?Transfer?Protocol，簡稱HTTP）等標準協議，讀取相應Web文檔，然后以Web文檔中包括的所有未訪問過的URL鏈接作為新的起點，繼續進行漫游，直到沒有滿足未訪問的新URL鏈接為止。在網絡爬蟲程序完成所有漫游后，下載所有URL鏈接指向的頁面保存并進行元素解析，得到網站的數據采集結果。

現今互聯網中存在一些在訪問時需注冊登錄賬號，在注冊成功后通過登錄賬號登陸的網站，例如，社會性網絡服務（Social?Networking?Services，簡稱SNS）網站、微博網站、天涯論壇和騰訊空間等網站。在對這類網站如果采用網絡爬蟲程序進行數據采集，由于需要進行登錄后才能進行網站，該網站不斷地將網絡爬蟲程序的訪問頁面跳轉至該網站的登錄頁面，這樣網絡爬蟲程序就不能獲取到該網站的數據采集結果。

發明內容

本發明提供了一種網站數據采集方法及裝置，用于解決基于網絡爬蟲程序無法對互聯網中在登錄后才能訪問一些網站進行數據采集的問題。

為了實現上述目標，本發明提供的一種網站數據采集方法，包括：

預先在網絡爬蟲程序中設置用于登錄待采集網站的身份信息；所述身份信息包括登錄賬號和登錄密碼；

將所述身份信息寫入所述網站登錄頁面的登錄表單中；

對所述登錄表單進行加密發送給所述網站對應的服務器，以使所述服務器驗證所述身份信息的合法性；

接收所述服務器發送的用于訪問所述網站的標識碼；所述標識碼是由所述服務器驗證出所述身份信息合法后發送的；

在使用所述標識碼訪問所述網站各網頁的過程中，采用所述網絡爬蟲程序對所述網站進行數據采集。

為了實現上述目標，本發明提供的一種網站數據采集裝置，包括：

預設模塊，用于預先在網絡爬蟲程序中設置用于登錄待采集網站的身份信息；所述身份信息包括登錄賬號和登錄密碼；

寫入模塊，用于將所述身份信息寫入所述網站登錄頁面的登錄表單中；

加密模塊，用于對所述登錄表單進行加密并發送給網站對應的服務器，以使所述服務器驗證所述身份信息的合法性；

接收模塊，用于接收所述服務器發送的用于標識所述用戶的標識碼，其中所述標識碼是由所述服務器驗證出所述身份驗證合法后發送的；

采集模塊，用于在使用所述標識碼訪問所述網站各網頁的過程中，采用所述網絡爬蟲程序對所述網站進行數據采集。

本發明提供的一種網站數據采集方法及裝置，預先在網絡爬蟲程序中設置用于登錄待采集網站的身份信息，該身份信息包括登錄賬號和登錄密碼；將身份信息寫入該網站登錄頁面的登錄表單中，對該登錄表單進行加密發送給該網站對應的服務器，以使服務器驗證該身份信息的合法性，接收服務器發送的用于訪問該網站的標識碼，該標識碼是由服務器驗證出身份信息合法后發送的，在使用該標識碼訪問該網站各網頁的過程中，采用網絡爬蟲程序對該網站進行數據采集。本發明中在網絡爬蟲程序中預先存儲用于登錄待采集的網站的身份信息，通過該身份信息從服務器處獲取標識碼，然后基于該標識碼網絡爬蟲程序訪問網站的各網頁，從而可以實現對網站數據的采集。

附圖說明

圖1為本發明實施例提供的一種網站數據采集方法的流程示意圖；

圖2為本發明實施例提供的一種網站數據采集裝置的結構示意圖；

圖3為本發明實施例提供的另一種網站數據采集裝置的結構示意圖。

具體實施方式

下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。

圖1為本發明實施例提供的一種網站數據采集方法的流程示意圖。本實施例中，該方法的執行主體為網站數據采集裝置。如圖1所示，該網站數據采集方法包括以下步驟：

101、預先在網絡爬蟲程序中設置用于登錄待采集網站的身份信息；所述身份信息包括登錄賬號和登錄密碼。