[發明專利]網頁頁面內容的獲取方法和裝置

有效

• 申請號: 201410779588.5
• 申請日: 2014-12-15
• 公開（公告）號: CN104408198B
• 公開（公告）日: 2018-07-17
• 發明（設計）人: 李浛天
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 吳貴明;張永明

本發明公開了一種網頁頁面內容的獲取方法和裝置。該方法包括：對加載的原始網頁頁面進行處理，生成初始網頁頁面，以讀取初始網頁頁面的文本信息，從初始網頁頁面中查找到按鈕集合，依據按鈕集合創建和觸發初始網頁頁面的點擊事件，生成目標網頁頁面，讀取目標網頁頁面的文本信息，依據初始網頁頁面的文本信息和目標網頁頁面的文本信息獲取原始網頁頁面的文本信息。本發明解決了利用翻頁按鈕獲取網頁頁面內容的問題。

技術領域

本發明涉及計算機互聯網領域，具體而言，涉及一種網頁頁面內容的獲取方法和裝置。

背景技術

隨著富客戶端(Rich Client)技術的發展，越來越多的網頁會使用js在頁面內容的渲染上做一些包裝。對于長篇的頁面內容，很多時候制作人員并不會選擇在一個初始頁面完整顯示網頁全文，一般網頁會提供一個翻頁按鈕或者加載更多的選項來讓訪客可以瀏覽全文內容。

由于傳統的爬蟲并不支持網頁js的渲染，這種通過js來加載網頁全文的做法會令爬蟲僅僅只能獲取一部分網頁內容。而一般的爬蟲往往需要全文數據。

傳統的爬蟲只截獲http請求的文本內容，不對其中的js代碼進行解析，從而不能獲取網頁通過js渲染出的正文內容，即翻頁按鈕所渲染出的內容。一般這類翻頁按鈕或選項可能有以下幾種情況：

1.下一頁按鈕會觸發一條ajax請求，返回下一頁的內容；

2.下一頁按鈕會導致整個頁面轉向另一個頁面，那個頁面包括所有的內容或者下一頁內容；

3.單頁應用中會進行更為復雜的處理。

針對相關技術中獲取網頁頁面內容不夠完整的問題，目前尚未提出有效的解決方案。

發明內容

本發明的主要目的在于提供一種網頁頁面內容的獲取方法和裝置，以解決現有技術中利用翻頁按鈕獲取網頁頁面內容的問題。

為了實現上述目的，根據本發明實施例的一個方面，提供了一種網頁頁面內容的獲取方法，該方法包括：對加載的原始網頁頁面進行處理，生成初始網頁頁面，以讀取初始網頁頁面的文本信息，從初始網頁頁面中查找到按鈕集合，依據按鈕集合創建和觸發初始網頁頁面的點擊事件，生成目標網頁頁面，讀取目標網頁頁面的文本信息，依據初始網頁頁面的文本信息和目標網頁頁面的文本信息獲取原始網頁頁面的文本信息。

為了實現上述目的，根據本發明實施例的另一方面，提供了一種網頁頁面內容的獲取裝置，該裝置包括：加載模塊，用于對加載的原始網頁頁面進行處理，生成初始網頁頁面，以讀取初始網頁頁面的文本信息，查找模塊，用于從初始網頁頁面中查找到按鈕集合，生成模塊，用于依據按鈕集合創建和觸發目標網頁頁面的點擊事件，生成目標網頁頁面以讀取目標網頁頁面的文本信息，獲取模塊，用于依據初始網頁頁面的文本信息和目標網頁頁面的文本信息獲取原始網頁頁面的文本信息。

根據本發明實施例，通過網頁頁面內容的獲取方法，解決了相關技術中利用翻頁按鈕獲取網頁頁面內容的問題，達到了獲取網頁頁面全文內容的效果。

附圖說明

構成本申請的一部分的附圖用來提供對本發明的進一步理解，本發明的示意性實施例及其說明用于解釋本發明，并不構成對本發明的不當限定。在附圖中：

圖1是根據本發明實施例的網頁頁面內容的獲取方法的流程示意圖；

圖2是根據本發明實施例的網頁頁面內容的獲取裝置的結構示意圖。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結合實施例來詳細說明本發明。