[發明專利]一種網頁數據分布式模板采集方法及系統

有效

• 申請號: 201810319851.0
• 申請日: 2018-04-11
• 公開（公告）號: CN108763279B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 方省;王海亮;皇秋曼;王磊;羅引
• 申請（專利權）人: 北京中科聞歌科技股份有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 陳英

本發明涉及一種網頁數據分布式模板采集方法及系統，該采集方法包括：將數據采集模板按所述網頁的類型分別導入不同的數據表中進行存儲；根據被采集的網頁的類型從數據表中獲取相應的數據采集模板，將模板池中的數據采集模板分發到至少兩個采集客戶端，采集客戶端分別根據數據采集模板對網頁進行數據抽取，整合得到網頁的網頁數據。本發明實施例通過構建不同的數據采集模板，根據被采集的網頁的類型選取相應的數據采集模板，并通過多個采集客戶端通過數據采集模板對該網頁分別進行數據采集，保證數據的準確性和完整性。

技術領域

本發明涉及數據采集技術領域，尤其涉及一種網頁數據分布式模板采集方法及系統。

背景技術

隨著物聯網的快速發展和大數據的興起，人們對數據的需求越來越多，不僅要求數據量多，對數據質量的要求也提高。數據質量的好壞直接決定了通過大數據分析后得到的結論的優劣，好的數據將大大提升分析結果的準確性。在這樣的環境下，數據采集的技術尤為重要。

發明內容

為了解決現有技術存在的問題，本發明的至少一個實施例提供了一種網頁數據分布式模板采集方法，包括：

針對不同類型的網頁配置不同的數據采集模板，并將所述數據采集模板按所述網頁的類型分別導入不同的數據表中進行存儲；

根據被采集的網頁的類型從所述數據表中獲取相應的數據采集模板，并將獲取到的數據采集模板放入模板池中；

將所述模板池中的數據采集模板分發到至少兩個采集客戶端，所述采集客戶端分別根據所述數據采集模板對所述網頁進行數據抽取，得到所述網頁的網頁數據。

基于上述技術方案，本發明實施例還可以做出如下改進。

可選的，所述數據采集模板包括：站點層模板、頻道層模板和正文層模板；

所述站點層模板包括：站點名、站點地址、編碼格式、國家、語言和頻道列表；

所述頻道層模板包括：頻道名、頻道地址、編碼格式、分類屬性、是否需要代理訪問和頁面標識；

所述正文層模板包括：標題解析、正文解析、發布時間解析、作者解析、來源解析和圖片解析。

可選的，針對不同類型的網頁配置不同的數據采集模板，并將所述數據采集模板按所述網頁的類型分別導入不同的數據表中進行存儲，具體包括：

S11、根據網頁的類型配置站點層模板，得到站點模板，判斷所述網頁是否存在頻道地址；是則，執行S12，否則，所述站點模板為所述網頁的所述數據采集模板，執行S14；

S12、基于所述站點模板配置頻道層模板，得到頻道模板，判斷所述網頁的頻道地址是否存在正文，是則，執行S13，否則，所述頻道模板為所述數據采集模板，執行S14；

S13、基于所述頻道模板配置正文層模板，得到所述數據采集模板；

S14、根據數據采集模板的不同按所述網頁的類型分別導入不同的數據表中進行存儲，并設置與所述數據表相對應的服務接口。

可選的，所述根據被采集的網頁的類型從所述數據表中獲取相應的數據采集模板，并將獲取到的數據采集模板放入模板池中，具體包括：

S21、采集服務器調用所述服務接口，根據被采集的網頁類型從所述數據表中獲取相應的數據采集模板；

S22、所述采集服務器將獲取到的數據采集模板放入模板池中，并實時監控模板池中的所述數據采集模板的數量；

S23、當所述模板池中的所述數據采集模板的數量小于預設值時，執行S21；當所述模板池中的所述數據采集模板的數量大于或等于預設值時，將所述模板池中的數據采集模板分發到至少兩個采集客戶端。