[發明專利]網頁數據的收集方法及系統

有效

• 申請號: 201610578428.3
• 申請日: 2016-07-20
• 公開（公告）號: CN107644028B
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 徐介夫;朱杰
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 張全文

1.一種網頁數據的收集方法，其特征在于，所述方法包括：

接收統一資源定位符URL地址的寫入指令，并寫入對應的URL地址，并過濾掉不需要執行的用javascript腳本語言編寫的文件；

顯示所述URL地址對應的網頁以及網頁對應的源代碼；

根據顯示的網頁抓取對應的源代碼，以實現網頁數據的收集，具體包括：檢測當前鼠標在網頁的位置的停留時長；在當前鼠標在網頁的位置的停留時長超過預設的時長時，抓取所述當前鼠標在網頁的位置對應的源代碼，以實現網頁數據的收集；

在所述接收統一資源定位符URL地址的寫入指令，并寫入對應的URL地址之后，還包括：選擇與所述URL地址匹配的瀏覽器,并接收瀏覽器參數的配置指令，根據所述瀏覽器參數的配置指令對瀏覽器參數進行配置，配置項目的名稱、項目描述以及相關字段信息；其中，所述瀏覽器參數包括：http發送超時時間、是否啟用腳本執行、是否啟用級聯樣式表、是否啟用重定向以及ActiveXNative；

在所述顯示所述URL地址對應的網頁之前，包括：接收用戶發出的重載頁面指令，根據所述重載頁面指令顯示所述URL地址對應的網頁；在顯示網頁對應的源代碼之前，包括：接收用戶發出的源代碼顯示指令，根據所述源代碼顯示指令顯示網頁對應的源代碼。

2.根據權利要求1所述的方法，其特征在于，在所述顯示所述URL地址對應的網頁以及網頁對應的源代碼之前，包括：

判斷所述URL地址對應的網頁是否需要登錄信息；

在所述URL地址對應的網頁需要登錄信息時，將預先獲取的登錄信息寫入所述URL地址對應的網頁的相應位置，以登錄所述URL地址對應的網頁。

3.根據權利要求1或2所述的方法，其特征在于，所述根據顯示的網頁抓取對應的源代碼，以實現網頁數據的收集，具體包括：

檢測當前鼠標在網頁的位置；

接收源代碼抓取指令，根據所述源代碼抓取指令抓取當前鼠標在網頁的位置對應的源代碼。

4.根據權利要求1或2所述的方法，其特征在于，在所述根據顯示的網頁抓取對應的源代碼，以實現網頁數據的收集之后，包括：

判斷顯示的網頁對應的網站是否存在多個網頁；

在顯示的網頁對應的網站存在多個網頁時，發出翻頁指令，以顯示翻頁后對應的網頁；

根據翻頁后對應的網頁抓取對應的源代碼，以實現網頁數據的收集。

5.一種網頁數據的收集系統，其特征在于，所述系統包括：

URL地址的寫入指令接收單元，用于接收統一資源定位符URL地址的寫入指令，并寫入對應的URL地址，并過濾掉不需要執行的用javascript腳本語言編寫的文件；

網頁顯示單元，用于顯示所述URL地址對應的網頁以及網頁對應的源代碼；

網頁數據收集單元，用于根據顯示的網頁抓取對應的源代碼，以實現網頁數據的收集；

所述網頁數據收集單元包括：

停留時長檢測模塊，用于檢測當前鼠標在網頁的位置的停留時長；

源代碼抓取模塊，用于在當前鼠標在網頁的位置的停留時長超過預設的時長時，抓取所述當前鼠標在網頁的位置對應的源代碼，以實現網頁數據的收集；

瀏覽器選擇單元，用于選擇與所述URL地址匹配的瀏覽器；

配置指令接收單元，用于接收瀏覽器參數的配置指令，根據所述瀏覽器參數的配置指令對瀏覽器參數進行配置，配置項目的名稱、項目描述以及相關字段信息；其中，所述瀏覽器參數包括：http發送超時時間、是否啟用腳本執行、是否啟用級聯樣式表、是否啟用重定向以及ActiveXNative；

重載頁面指令接收單元，用于接收用戶發出的重載頁面指令，根據所述重載頁面指令顯示所述URL地址對應的網頁，以及接收用戶發出的源代碼顯示指令，根據所述源代碼顯示指令顯示網頁對應的源代碼。

6.根據權利要求5所述的系統，其特征在于，所述系統包括：

登錄信息判斷單元，用于判斷所述URL地址對應的網頁是否需要登錄信息；

登錄信息寫入單元，用于在所述URL地址對應的網頁需要登錄信息時，將預先獲取的登錄信息寫入所述URL地址對應的網頁的相應位置，以登錄所述URL地址對應的網頁。