[發明專利]一種網絡數據采集方法及系統

有效

• 申請號: 202110421317.2
• 申請日: 2021-04-19
• 公開（公告）號: CN113132383B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 段東圣;王海洋;時磊;佟玲玲;段運強;任博雅;井雅琪;李真;張旋;田偉裕;王麗萍
• 申請（專利權）人: 煙臺中科網絡技術研究所;國家計算機網絡與信息安全管理中心
• 主分類號: H04L69/22
• 分類號: H04L69/22;H04L67/562;G06N3/08
• 代理公司: 煙臺上禾知識產權代理事務所(普通合伙) 37234
• 代理人: 趙加鑫

本發明涉及大數據技術領域。本發明公開了一種網絡數據采集系統，該系統包括服務器，服務器包括：任務下發模塊，用于創建用戶信息獲取任務，將用戶信息獲取任務分配至不同的任務池，計算任務池優先級，根據任務下發規則，得到并傳輸具有優先級參數的用戶信息獲取任務；數據解析模塊，與任務下發模塊數據連接，用于獲取來自中間代理服務端的用戶信息流量數據，數據解析模塊構建報文解析神經網絡模型，將待解析報文信息輸入訓練后報文解析神經網絡模型，判斷待解析報文信息中是否包括指定用戶信息并提取。通過設置任務優先級，優先處理重要的任務，提高任務處理效率。本公開實施例還公開了一種網絡數據采集方法。

技術領域

本發明涉及大數據技術領域，尤其涉及一種網絡數據采集方法及系統。

背景技術

目前，移動終端已成為用戶獲取信息的一個主要平臺，移動平臺使用戶更加容易地獲取到各種信息，也使得用戶對于有用信息的需求大大增加。為了更好地為用戶提供信息與服務，移動應用開發商需要獲取用戶信息，分析用戶行為和屬性，根據用戶的實際需求為用戶提供個性化推薦。

現有技術中，通過對移動應用統計分析平臺實時數據需求的分析，提取實時數據需求特點，明確系統設計要點；之后對各項技術及框架進行分析和研究，最終定位技術選型；通過對系統模塊化的設計與實現，逐步發現系統缺陷并解決。該方法從實時系統的實時性、可靠性出發，結合實際企業案例移動應用分析平臺的具體需求，決策系統流程架構，定位系統技術選型，實現系統架構。

在實現本公開實施例的過程中，發現相關技術中至少存在如下問題：現有技術中獲取用戶信息的技術方案效率較低。

發明內容

本公開實施例提供了一種網絡數據采集方法及系統，以解決現有技術中對于獲取用戶信息的技術方案效率較低的技術問題。

第一方面，提供了一種網絡數據采集系統，該網絡數據采集系統包括服務器，所述服務器包括：任務下發模塊，用于創建用戶信息獲取任務，將所述用戶信息獲取任務分配至不同的任務池，計算任務池優先級，根據任務下發規則，得到并傳輸具有優先級參數的用戶信息獲取任務；數據解析模塊，與所述任務下發模塊數據連接，用于獲取來自中間代理服務端的用戶信息流量數據并將所述用戶信息流量數據解析為待解析報文信息，所述數據解析模塊構建報文解析神經網絡模型，將所述待解析報文信息輸入報文解析神經網絡模型，判斷所述待解析報文信息中是否包括指定用戶信息并提取。

結合第一方面，在第一方面的第一種可能的實現方式中，所述任務下發模塊，包括：任務管理部分，用于所述用戶信息獲取任務的創建和下發；任務空間部分，與所述數據解析模塊和所述任務管理部分數據連接，所述任務空間部分包括至少一個任務池，所述任務空間部分用于計算任務池優先級、制定任務下發規則和對所述具有優先級參數的用戶信息獲取任務進行加密。

結合第一方面或者第一方面的第一種可能的實現方式，所述數據解析模塊，包括：解析通信單元，用于獲取并傳輸來自中間代理服務端的用戶信息流量數據；過濾單元，與所述解析通信單元數據連接，用于接收并過濾所述用戶信息流量數據，所述過濾單元傳輸過濾后用戶信息流量數據；結構解析單元，與所述過濾單元數據連接，用于獲取所述過濾后用戶信息流量數據，所述結構解析單元將所述過濾后用戶信息流量數據以報文格式樹的形式設置，得到待解析報文信息；深度識別單元，與所述結構解析單元數據連接，所述深度識別單元用于構建報文解析神經網絡模型，通過所述報文解析神經網絡模型對所述待解析報文信息進行特征提取，判斷所述待解析報文信息中是否包括指定用戶信息并提取，傳輸提取的指定用戶信息。

第二方面，還提供了一種網絡數據采集系統，該網絡數據采集系統包括移動終端，所述移動終端包括：應用控制模塊，用于獲取來自服務器的具有優先級參數的用戶信息獲取任務，根據所述具有優先級參數的用戶信息獲取任務，發送激活指令至中間代理服務端，獲取來自所述中間代理服務端反饋的激活答復，在所述中間代理服務端激活成功后將所述具有優先級參數的用戶信息獲取任務發送至所述中間代理服務端。