[發明專利]數據采集方法和裝置、計算機設備、存儲介質

在審

• 申請號: 202111363598.7
• 申請日: 2021-11-17
• 公開（公告）號: CN114153877A
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 陳志群;唐圓;陳錦冰;蔣鵬
• 申請（專利權）人: 深圳中泓在線股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F9/48
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 洪銘福

本實施例提供一種數據采集方法和裝置、計算機設備、存儲介質，應用于數據獲取技術領域，通過獲取預設的信息源，對所述預設的信息源進行抓包分析，得到第一信息數據，根據第一信息數據生成配置規則，并將所述配置規則存儲到數據庫，根據所述配置規則對所述預設的信息源進行采集以獲取第二信息數據，能夠實現對不同的數據采集任務的系統化管理。

技術領域

本發明涉及數據獲取技術領域，尤其涉及一種數據采集方法和裝置、計算機設備、存儲介質。

背景技術

隨著移動互聯網的迅速發展，人們通過瀏覽移動智能終端的數據信息來獲取日常生活技能和信息，客戶端網絡終端的信息量也在爆炸式增長，如何獲取數據信息顯得尤為重要。相關技術中，獲取開源信息需要分別對每一個APP定制不同的采集策略，不能系統化的對信息源做處理。

發明內容

本公開實施例的主要目的在于提出一種數據采集方法和裝置、計算機設備、存儲介質，能夠實現對不同的數據采集任務的系統化管理。

為實現上述目的，本公開實施例的第一方面提出了一種數據采集方法，包括：

獲取預設的信息源；

對所述預設的信息源進行抓包分析，得到第一信息數據；

根據第一信息數據生成配置規則，并將所述配置規則存儲到數據庫；

根據所述配置規則對所述預設的信息源進行采集以獲取第二信息數據。

在一些實施例，所述根據所述配置規則對所述預設的信息源進行采集以獲取第二信息數據，包括：

根據所述配置規則生成目標任務，將所述目標任務加入任務隊列中；

通過預設的任務接口將所述任務隊列中的所述目標任務加入到消費隊列中；

根據消費隊列中的目標任務對所述預設的信息源進行采集以獲取第二信息數據。

在一些實施例，所述通過預設的任務接口將所述任務隊列中的所述目標任務加入到消費隊列中，包括：

根據所述目標任務的任務類型將所述目標任務加入到消費隊列中。

在一些實施例，所述根據消費隊列中的目標任務對所述預設的信息源進行采集以獲取第二信息數據，包括：

根據所述目標任務得到所述信息源的配置類型，所述配置類型包括加密配置和普通配置；

若所述配置類型為加密配置，則根據所述目標任務對所述信息源進行解密。

在一些實施例，所述根據消費隊列中的目標任務對所述預設的信息源進行采集以獲取第二信息數據，還包括：

對所述信息源的采集位置進行標記處理，以得到位置標記信息；

根據所述位置標記信息進行下一輪采集。

在一些實施例，所述根據消費隊列中的目標任務對所述預設的信息源進行采集以獲取第二信息數據，還包括：

根據消費隊列中的目標任務對所述預設的信息源解析，以得到解析數據；

根據消費隊列中的目標任務對所述預設的信息源進行再采集，以得到再采集數據；

根據所述解析數據和所述再采集數據，獲取第二信息數據。

在一些實施例，在所述根據所述配置規則對所述預設的信息源進行采集以獲取第二信息數據之后，所述方法還包括：

將所述第二信息數據發送到預設的目標位置。

本公開實施例的第二方面提出了一種數據采集裝置，包括：