[發明專利]數據采集方法及裝置、計算機可讀存儲介質

有效

• 申請號: 201811283037.4
• 申請日: 2018-10-31
• 公開（公告）號: CN111125589B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 李宇涵;曹六一;張丹;于曉明
• 申請（專利權）人: 新方正控股發展有限責任公司;北京北大方正電子有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張子青;劉芳

1.一種數據采集方法，其特征在于，包括：

調度模塊調用第一解析器，并獲取所述第一解析器解析調度模板得到的調度信息，所述調度模板以動態模板語言編寫并存儲；

所述調度模塊根據所述調度信息，生成網絡請求；

下載模塊根據所述網絡請求，下載網頁源碼；

解析模塊調用第二解析器，并獲取所述第二解析器按照解析模板處理所述網頁源碼得到的目標數據，所述解析模板與所述調度模板相對應，所述解析模板以動態模板語言編寫并存儲；

所述解析模塊將所述目標數據發送給所述調度模塊；

所述調度模塊根據所述調度模板，輸出或存儲所述目標數據。

2.根據權利要求1所述的方法，其特征在于，所述調度信息還包括以下至少一種信息：入口信息、頻率控制、請求方式、預處理方法、下屬數據融合方式、額外數據處理方法。

3.一種數據采集裝置，其特征在于，包括：調度模塊、下載模塊與解析模塊；其中，

所述調度模塊，用于調用第一解析器，并獲取所述第一解析器解析調度模板得到的調度信息，所述調度模板以動態模板語言編寫并存儲；

所述調度模塊，還用于根據所述調度信息，生成網絡請求；

所述下載模塊，用于根據所述網絡請求，下載網頁源碼；

所述解析模塊，還用于調用第二解析器，并獲取所述第二解析器按照解析模板處理所述網頁源碼得到的目標數據，所述解析模板與所述調度模板相對應，所述解析模板以動態模板語言編寫并存儲；

所述解析模塊，還用于將所述目標數據發送給所述調度模塊；

所述調度模塊，還用于根據所述調度模板，輸出或存儲所述目標數據。

4.根據權利要求3所述的裝置，其特征在于，所述調度信息還包括以下至少一種信息：入口信息、頻率控制、請求方式、預處理方法、下屬數據融合方式、額外數據處理方法。

5.一種數據采集設備，其特征在于，包括：

存儲器；

處理器；以及

計算機程序；

其中，所述計算機程序存儲在所述存儲器中，并被配置為由所述處理器執行以實現如權利要求1或2所述的方法。

6.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，

所述計算機程序被處理器執行以實現如權利要求1或2所述的方法。