[發明專利]數據采集方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202110344846.7
• 申請日: 2021-03-30
• 公開（公告）號: CN113079048A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 劉小龍
• 申請（專利權）人: 深圳紅途創程科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26;H04L29/06;G06F8/65
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 李燕娥

本發明涉及數據采集方法、裝置、計算機設備及存儲介質，該方法包括獲取來自管理端的采集策略；根據所述采集策略采用開關模式設定實際采集策略；采用字節增強技術對訪問數據進行攔截，以得到攔截的數據；根據所述實際采集策略對攔截的數據采集用戶行為數據、傳輸數據和應用資產數據。本發明通過在管理端設定數據的采集策略，并更新至應用客戶端，由應用客戶端采用開關模式結合采集策略生成實際采集策略，對特定接口的數據采用字節碼增強技術進行攔截，并結合實際采集策略進行對應數據的采集，實現可管控地采集用戶行為數據、傳輸數據和應用資產數據，且采集更全面、簡單和靈活，效率高，維護成本低。

技術領域

本發明涉及計算機，更具體地說是指數據采集方法、裝置、計算機設備及存儲介質。

背景技術

在進行網絡安全和數據安全管控時，需要對用戶行為數據、傳輸數據進行大數據實時分析、安全分析、溯源分析以及取證等，因此，用戶行為數據、應用傳輸數據和應用資產數據所采集的場景逐漸增多，需求也越發增大。

目前對于用戶行為數據、應用傳輸數據和應用資產數據的采集包括三種方式，一種是使用預置的應用程序埋點或二次開發定點采集方案采集用戶行為數據和應用傳輸數據，但這種方式需要針對每個指定的采集點都進行二次開發，開發及維護成本極高，因每次采集均需要涉及二次開發，修改代碼并運行，對原有的業務存在入侵性；對數據采集的開關需要在代碼上進行維護，且無法對數據采集的對象進行可交互式的動態配置和調節，如只采集指定用戶、指定接口、指定應用服務的數據；第二種方式是通過解析網絡流量采集應用傳輸數據和應用資產數據，這種方式對某些私有協議的流量和數據內容無法解析，網絡流量分析因私有協議字段和標準未公開，因此無法進行流量解析和數據解析，也就無法解析出應用系統的應用接口和還原傳輸數據，對加密流量無法進行解析，因部署模式對可采集的應用傳輸數據范圍受限，只能對用戶訪問的數據進行部分采集，對應用系統之間數據調用無法進行采集，使用部署的設備及部署模式即旁路部署和網絡代理部署將提高網絡架構的復雜度、提升網絡運維的難度、降低故障排除的效率，并使整體網絡的可靠性和可用性降低，且無法通過可交互式的數據采集策略對數據采集的對象進行管理和控制，如通過采集頻率、數據內容等；還有一種方式是通過架設應用安全網關采集應用傳輸數據，這種方式對未納入應用網關范圍的應用無法進行采集，對納入應用網關范圍的也只能采集用戶訪問數據，對應用之間數據傳輸無法進行采集，需要對現有的應用系統架構進行調整，影響非常大，無法通過可交互式的數據采集策略對數據采集的對象進行管理和控制，如通過采集頻率、數據內容等。

綜上所述，目前對用戶行為數據、應用傳輸數據和應用資產數據的采集方式存在無法管控，采集復雜和不夠靈活，效率低以及維護成本高。

因此，有必要設計一種新的方法，實現可管控地采集用戶行為數據、應用傳輸數據和應用資產數據，且采集更全面、簡單和靈活，效率高，維護成本低。

發明內容

本發明的目的在于克服現有技術的缺陷，提供數據采集方法、裝置、計算機設備及存儲介質。

為實現上述目的，本發明采用以下技術方案：數據采集方法，包括：

獲取來自管理端的采集策略；

根據所述采集策略采用開關模式設定實際采集策略；

采用字節增強技術對訪問數據進行攔截，以得到攔截的數據；

根據所述實際采集策略對攔截的數據采集用戶行為數據、應用傳輸數據和應以資產數據。

其進一步技術方案為：所述采集策略包括基于用戶標識配置進行數據采集、基于應用服務配置進行數據采集、基于應用接口進行數據采集、根據應用接口的字段進行數據采集、基于所配置的頻率進行數據采集以及基于配置的單次數據采集量進行數據采集中至少一種數據采集方式。