[發明專利]信息采集的方法和裝置

有效

• 申請號: 201710325105.8
• 申請日: 2017-05-10
• 公開（公告）號: CN108874810B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 李杰;安偉佳;許斌
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F16/953;G06F16/958
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

1.一種信息采集的方法，其特征在于，包括：

接收從處理中心分發的信息采集任務；

根據所述信息采集任務啟動一個或多個瀏覽器進程，并且在啟動所述一個或多個瀏覽器進程的過程中加載模擬行為模板；

從所述處理中心接收待采集信息的目標網頁的統一資源定位符URL；

根據所接收的URL，對所述目標網頁進行渲染，并且獲得所述目標網頁的頁面渲染狀態；

根據所述URL的類型，確定是否需要在所述目標網頁上配置所加載的模擬行為模板；

響應于確定需要配置所述模擬行為模板，在所述目標網頁上觸發所述模擬行為模板中所定義的功能；以及

對所述目標網頁進行解析并且將解析結果回傳到所述處理中心。

2.根據權利要求1所述的方法，其特征在于，所述模擬行為模板包括下述中的一個或多個：頁面下拉、滾動效果模板；點擊、登錄效果模板、以及選擇效果模板。

3.根據權利要求1所述的方法，其特征在于，所述模擬行為模板是由信息采集裝置預定義的模板。

4.根據權利要求1所述的方法，其特征在于，所述模擬行為模板是用戶自定義的模板。

5.根據權利要求1所述的方法，其特征在于，通過采用插件可插拔式方式將所述模擬行為模板以插件的形式注入到所述一個或多個瀏覽器進程，來加載所述模擬行為模板。

6.根據權利要求1所述的方法，其特征在于，對所述目標網頁進行解析并且將解析結果回傳到所述處理中心包括：

對所述目標網頁進行模板適配，以與使得所述目標網頁與信息采集裝置定義的模板相匹配；

根據所述目標網頁的不同URL類型，選擇對所述目標網頁進行解析所使用的規則，并使用所選擇的規則對所述目標網頁進行解析；以及，

基于所述規則生成解析結果，并且將所述解析結果回傳到所述處理中心。

7.一種信息采集裝置，其特征在于，包括：

統一資源定位符URL下載模塊，用于下載待采集信息的目標網頁的URL并且獲得所述目標網頁的渲染狀態，所述URL下載模塊包括：瀏覽器池管理模塊，用于接收從處理中心分發到所述URL下載模塊的信息采集任務，根據所述信息采集任務啟動一個或多個瀏覽器進程，并且在啟動所述一個或多個瀏覽器進程的過程中加載模擬行為模板；URL輸入模塊，用于從所述處理中心接收所述目標網頁的所述URL；以及頁面渲染狀態獲取模塊，用于根據所接收的所述URL，對所述目標網頁進行渲染，并且獲取所述目標網頁的頁面渲染狀態；

模擬行為模板配置模塊，用于根據所接收的URL的類型，確定是否需要在所述目標網頁上配置所述模擬行為模板，以及響應于確定需要配置所述模擬行為模板，在所述目標網頁上觸發所述模擬行為模板中所定義的功能；以及

解析模板模塊，用于對所述目標網頁進行解析并且將解析結果回傳到所述處理中心。

8.根據權利要求7所述的信息采集裝置，其特征在于，所述模擬行為模板包括下述中的一個或多個：頁面下拉、滾動效果模板；點擊、登錄效果模板、以及選擇效果模板。

9.根據權利要求7所述的信息采集裝置，其特征在于，所述模擬行為模板是所述信息采集裝置預定義的模板。

10.根據權利要求7所述的信息采集裝置，其特征在于，所述模擬行為模板是用戶自定義的模板。

11.根據權利要求7所述的信息采集裝置，其特征在于，所述瀏覽器池管理模塊通過采用插件可插拔式方式將所述模擬行為模板以插件的形式注入到所述一個或多個瀏覽器進程，來加載所述模擬行為模板。