[發明專利]一種網頁數據分布式模板采集方法及系統

有效

• 申請號: 201810319851.0
• 申請日: 2018-04-11
• 公開（公告）號: CN108763279B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 方省;王海亮;皇秋曼;王磊;羅引
• 申請（專利權）人: 北京中科聞歌科技股份有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 陳英

1.一種網頁數據分布式模板采集方法，其特征在于，包括：

針對不同類型的網頁配置不同的數據采集模板，并將所述數據采集模板按所述網頁的類型分別導入不同的數據表中進行存儲；

根據被采集的網頁的類型從所述數據表中獲取相應的數據采集模板，并將獲取到的數據采集模板放入模板池中；

將所述模板池中的數據采集模板分發到至少兩個采集客戶端，所述采集客戶端分別根據所述數據采集模板對所述網頁進行數據抽取，分別得到網頁的網頁數據；

針對每個采集客戶端得到的網頁數據進行整合，得到完善的網頁數據；

其中，所述根據被采集的網頁的類型從所述數據表中獲取相應的數據采集模板，并將獲取到的數據采集模板放入模板池中，具體包括：

S21、采集服務器調用所述服務接口，根據被采集的網頁類型從所述數據表中獲取相應的數據采集模板；

S22、所述采集服務器將獲取到的數據采集模板放入模板池中，并實時監控模板池中的所

述數據采集模板的數量；

S23、當所述模板池中的所述數據采集模板的數量小于預設值時，執行S21；當所述模板池中的所述數據采集模板的數量大于或等于預設值時，將所述模板池中的數據采集模板分發到至少兩個采集客戶端。

2.根據權利要求1所述的網頁數據分布式模板采集方法，其特征在于，所述數據采集模板包括：站點層模板、頻道層模板和正文層模板；

所述站點層模板包括：站點名、站點地址、編碼格式、國家、語言和頻道列表；

所述頻道層模板包括：頻道名、頻道地址、編碼格式、分類屬性、是否需要代理訪問和頁面標識；

所述正文層模板包括：標題解析、正文解析、發布時間解析、作者解析、來源解析和圖片解析。

3.根據權利要求2所述的網頁數據分布式模板采集方法，其特征在于，針對不同類型的網頁配置不同的數據采集模板，并將所述數據采集模板按所述網頁的類型分別導入不同的數據表中進行存儲，具體包括：

S11、根據網頁的類型配置站點層模板，得到站點模板，判斷所述網頁是否存在頻道地址；是則，執行S12，否則，所述站點模板為所述網頁的所述數據采集模板，執行S14；

S12、基于所述站點模板配置頻道層模板，得到頻道模板，判斷所述網頁的頻道地址是否存在正文，是則，執行S13，否則，所述頻道模板為所述數據采集模板，執行S14；

S13、基于所述頻道模板配置正文層模板，得到所述數據采集模板；

S14、根據數據采集模板的不同按所述網頁的類型分別導入不同的數據表中進行存儲，并設置與所述數據表相對應的服務接口。

4.根據權利要求1所述的網頁數據分布式模板采集方法，其特征在于，所述將所述模板池中的數據采集模板分發到至少兩個采集客戶端，具體包括：

當采集客戶端調用所述服務接口時，所述采集服務器將所述模板池中的數據采集模板分發到所述采集客戶端，并將所述數據采集模板分發到至少一個其他的所述采集客戶端。

5.根據權利要求4所述的網頁數據分布式模板采集方法，其特征在于，所述采集客戶端分別根據所述數據采集模板對所述網頁進行數據抽取，得到所述網頁的網頁數據，具體包括：

所述采集客戶端根據所述數據采集模板提取所述網頁的站點地址，并根據所述站點地址進行網頁下載；

通過所述數據采集模板，基于XPATH技術對所述網頁進行數據抽取，得到所述網頁的網頁數據。

6.根據權利要求1-5中任一所述的網頁數據分布式模板采集方法，其特征在于，所述根據被采集的網頁的類型從所述數據表中獲取相應的數據采集模板，具體包括：

獲取與所述網頁的類型相對應的數據表中的全部所述數據采集模板。

7.根據權利要求1-5中任一所述的網頁數據分布式模板采集方法，其特征在于，所述根據被采集的網頁的類型從所述數據表中獲取相應的數據采集模板，具體包括：

獲取與所述網頁的類型相對應的數據表，根據預設模板ID從所述數據表中獲取與所述模板ID相應的數據采集模板。