[發明專利]一種網頁數據采集方法

在審

• 申請號: 201610140771.X
• 申請日: 2016-03-12
• 公開（公告）號: CN107180057A
• 公開（公告）日: 2017-09-19
• 發明（設計）人: 顏欣如
• 申請（專利權）人: 上海乾雨信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及網頁數據采集領域，尤其涉及一種網頁數據采集方法。

背景技術

隨著網絡信息技術的發展、網站、論壇、博客等網頁信息越來越大，搜索引擎、內容分析、輿情分析等技術都是對這些信息進行某種分析處理的，他們都用到了網頁數據采集這一技術，但是目前沒有相應的處理技術。

發明內容

鑒于目前技術存在的上述不足，本發明提供一種網頁數據采集方法，本發明可以針對相應的頁面進行網頁結構分析，得到相應的數據，將結果保存到數據庫中，同時提供用戶查詢，以及能夠快速有效的獲取網頁數據并儲存到數據庫中，因此降低了用戶操作的難度，降低了獲取網頁數據的門檻。

本發明的采用如下技術方案：

一種網頁數據采集方法，包括以下步驟：

建立用于網頁數據采集的數據庫；

接收數據采集指令并對指令進行分析；

根據分析的指令對網頁數據進行采集，并將采集的網頁數據儲存到數據庫中；

通過查詢模塊對數據庫中的網頁信息進行查詢。

作為本發明的優選技術方案，所述建立用于網頁數據采集的數據庫的步驟中，所述數據庫連接有數據處理系統，用于對采集的數據進行處理和歸類。

作為本發明的優選技術方案，所述接收數據采集指令并對指令進行分析的步驟包括：

通過任務接收裝置接收數據采集指令：

通過分析模塊對采集指令進行分析。

作為本發明的優選技術方案，所述根據分析的指令對網頁數據進行采集，并將采集的網頁數據儲存到數據庫的步驟中，通過采集模塊對網頁數據進行采集，其中采集模塊連接有定時模塊，用于對網頁數據的定時采集。

作為本發明的優選技術方案，所述通過查詢模塊對數據庫中的網頁信息進行查詢的步驟包括：

接收查詢模塊的查詢指令并對查詢指令進行識別；

若有權限查詢，則進入下一步，若無權限查詢，則發出無權限查詢信息到查詢模塊并在用戶管理模塊上進行顯示。

作為本發明的優選技術方案，所述通過查詢模塊對數據庫中的網頁信息進行查詢的步驟中，所述查詢模塊連接有用戶管理模塊。

作為本發明的優選技術方案，所述用戶管理模塊連接有用戶認證模塊，用于對用戶身份的認證。

本發明的一種網頁數據采集方法，包括以下步驟：建立用于網頁數據采集的數據庫；接收數據采集指令并對指令進行分析；根據分析的指令對網頁數據進行采集，并將采集的網頁數據儲存到數據庫中；通過查詢模塊對數據庫中的網頁信息進行查詢，本發明可以針對相應的頁面進行網頁結構分析，得到相應的數據，將結果保存到數據庫中，同時提供用戶查詢，以及能夠快速有效的獲取網頁數據并儲存到數據庫中，因此降低了用戶操作的難度，降低了獲取網頁數據的門檻。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明具體實施的流程。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

如圖1所示，本發明提供一種網頁數據采集方法，包括以下步驟：

步驟S1：建立用于網頁數據采集的數據庫，其中數據庫連接有數據處理系統，用于對采集的數據進行處理和歸類。

步驟S2：接收數據采集指令并對指令進行分析，其中包括步驟S2a：通過任務接收裝置接收數據采集指令，具體為用于接收屬于預置的業務模型屬性的網頁數據采集指令：步驟S2b：通過分析模塊對采集指令進行分析，包括用于分析網頁采集地址包含的有效鏈接，以及用于判斷有效鏈接是否已更新，如果已更新則設置相應的標志，沒有更新的但已存在的則直接忽略。