[發明專利]一種基于AJAX的Web數據采集方法及系統

在審

• 申請號: 201310241272.6
• 申請日: 2013-06-18
• 公開（公告）號: CN103279567A
• 公開（公告）日: 2013-09-04
• 發明（設計）人: 唐紅;楊廣;徐川
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅

1.?一種基于AJAX的Web數據采集系統,其特征在于：包括客戶端監聽模塊(1)、數據采集模塊(2)、數據傳輸模塊(3)及中心數據庫模塊(4)；

所述客戶端監聽模塊(1)設置于客戶端與數據采集模塊(2)之間對客戶端點擊事件進行監聽；

所述數據采集模塊(2)包括HTML解析器(5)、過濾器(6)及采集器(7)；其中，所述HTML解析器(5)對客戶端用戶提交的HTML文檔信息中的標簽元素映射為由層次節點組成的HTML節點樹；所述過濾器(6)根據過濾規則對HTML節點樹中的冗余標簽進行過濾修剪得到修剪HTML節點樹；所述采集器(7)對修剪HTML節點樹中標簽對應的文本內容進行采集；

所述數據傳輸模塊(3)將所述數據采集模塊(2)的采集器(7)采集的文本內容進行封裝并存入中心數據庫模塊(4)；

所述中心數據庫模塊(4)用于存放數據傳輸模塊(3)傳送來的文本內容。

2.根據權利要求1所述的基于AJAX的Web數據采集系統,其特征在于：所述客戶端監聽模塊(1)通過在目標網站植入JS探針代碼實現監控客戶端的點擊事件。

3.根據權利要求1所述的基于AJAX的Web數據采集系統,其特征在于：所述HTML文檔包括標簽元素、屬性和文本。

4.根據權利要求1所述的基于AJAX的Web數據采集系統,其特征在于：所述冗余標簽包括<style>、<script>。

5.根據權利要求1所述的基于AJAX的Web數據采集系統,其特征在于：所述數據采集模塊(2)的采集器(7)采用getElementsByTagName法，對HTML節點樹中標簽對應的文本數據進行采集。

6.一種基于AJAX的Web數據采集方法，其特征在于包括以下步驟：

步驟1、在目標網站上部署JS探針代碼，監聽頁面點擊事件；

步驟2、檢查該頁面URL是否存在采集歷史，如存在采集歷史，則直接執行步驟步驟5，否則執行步驟3；

步驟3、對該頁面的HTML標簽元素進行提取，生成以HTML標簽元素為節點的HTML節點樹，存儲該頁面上的HTML標簽元素；

步驟4、對HTML節點樹進行修剪，去除不需要采集的冗余標簽元素，并存儲生成的修剪HTML節點樹；

步驟5、遍歷修剪后的HMTL節點樹，采集節點樹中標簽元素對應的文本內容；

步驟6、將采集數據封裝并與服務器進行異步傳輸。