[發明專利]數據采集方法和裝置、計算機設備、存儲介質

在審

• 申請號: 202111363598.7
• 申請日: 2021-11-17
• 公開（公告）號: CN114153877A
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 陳志群;唐圓;陳錦冰;蔣鵬
• 申請（專利權）人: 深圳中泓在線股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F9/48
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 洪銘福

1.一種數據采集方法，其特征在于，所述方法包括：

獲取預設的信息源；

對所述預設的信息源進行抓包分析，得到第一信息數據；

根據第一信息數據生成配置規則，并將所述配置規則存儲到數據庫；

根據所述配置規則對所述預設的信息源進行采集以獲取第二信息數據。

2.根據權利要求1所述的方法，其特征在于，所述根據所述配置規則對所述預設的信息源進行采集以獲取第二信息數據，包括：

根據所述配置規則生成目標任務，將所述目標任務加入任務隊列中；

通過預設的任務接口將所述任務隊列中的所述目標任務加入到消費隊列中；

根據消費隊列中的目標任務對所述預設的信息源進行采集以獲取第二信息數據。

3.根據權利要求2所述的方法，其特征在于，所述通過預設的任務接口將所述任務隊列中的所述目標任務加入到消費隊列中，包括：

根據所述目標任務的任務類型將所述目標任務加入到消費隊列中。

4.根據權利要求2所述的方法，其特征在于，所述根據消費隊列中的目標任務對所述預設的信息源進行采集以獲取第二信息數據，包括：

根據所述目標任務得到所述信息源的配置類型，所述配置類型包括加密配置和普通配置；

若所述配置類型為加密配置，則根據所述目標任務對所述信息源進行解密。

5.根據權利要求2所述的方法，其特征在于，所述根據消費隊列中的目標任務對所述預設的信息源進行采集以獲取第二信息數據，還包括：

對所述信息源的采集位置進行標記處理，以得到位置標記信息；

根據所述位置標記信息進行下一輪采集。

6.根據權利要求2所述的方法，其特征在于，所述根據消費隊列中的目標任務對所述預設的信息源進行采集以獲取第二信息數據，還包括：

根據消費隊列中的目標任務對所述預設的信息源解析，以得到解析數據；

根據消費隊列中的目標任務對所述預設的信息源進行再采集，以得到再采集數據；

根據所述解析數據和所述再采集數據，獲取第二信息數據。

7.根據權利要求1至6任一項所述的方法，其特征在于，在所述根據所述配置規則對所述預設的信息源進行采集以獲取第二信息數據之后，所述方法還包括：

將所述第二信息數據發送到預設的目標位置。

8.一種數據采集裝置，其特征在于，包括：

信息源獲取模塊，用于獲取預設的信息源；

第一信息數據獲取模塊，用于對所述預設的信息源進行抓包分析，得到第一信息數據；

配置規則生成與存儲模塊，用于根據第一信息數據生成配置規則，并將所述配置規則存儲到數據庫；

第二信息數據獲取模塊，用于根據所述配置規則對所述預設的信息源進行采集以獲取第二信息數據。

9.一種計算機設備，其特征在于，所述計算機設備包括存儲器和處理器，其中，所述存儲器中存儲有程序，所述程序被所述處理器執行時所述處理器用于執行：

如權利要求1至7中任一項所述的方法。

10.一種存儲介質，所述存儲介質為計算機可讀存儲介質，其特征在于，所述計算機可讀存儲有計算機程序，在所述計算機程序被計算機執行時，所述計算機用于執行：

如權利要求1至7中任一項所述的方法。