[發(fā)明專利]一種網(wǎng)絡(luò)數(shù)據(jù)采集方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110421317.2
• 申請日: 2021-04-19
• 公開（公告）號: CN113132383B
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 段東圣;王海洋;時(shí)磊;佟玲玲;段運(yùn)強(qiáng);任博雅;井雅琪;李真;張旋;田偉裕;王麗萍
• 申請（專利權(quán)）人: 煙臺中科網(wǎng)絡(luò)技術(shù)研究所;國家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心
• 主分類號: H04L69/22
• 分類號: H04L69/22;H04L67/562;G06N3/08
• 代理公司: 煙臺上禾知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 37234
• 代理人: 趙加鑫

1.一種網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)，其特征在于，包括服務(wù)器，所述服務(wù)器包括：

任務(wù)下發(fā)模塊，用于創(chuàng)建用戶信息獲取任務(wù)，將所述用戶信息獲取任務(wù)分配至不同的任務(wù)池，計(jì)算任務(wù)池優(yōu)先級，根據(jù)任務(wù)下發(fā)規(guī)則，得到并傳輸具有優(yōu)先級參數(shù)的用戶信息獲取任務(wù)，其中，通過如下公式計(jì)算任務(wù)池優(yōu)先級：

其中，Pri_i表示任務(wù)類別i的優(yōu)先級參數(shù)，L表示任務(wù)類別i中共有L個(gè)任務(wù)，taskl_l表示任務(wù)類別i中第l個(gè)任務(wù)的創(chuàng)建順序衡量值，ntask_l表示第l個(gè)任務(wù)相同內(nèi)容發(fā)布過的次數(shù)，a，c均為常數(shù)值，由系統(tǒng)隨機(jī)分配，a，c∈[0，1]，b_t-1表示時(shí)隙標(biāo)識符，用于表示不同時(shí)間段之間的影響，b_t＝(a*b_t-1)modc，taskp_i表示任務(wù)類別i的映射值，用于區(qū)分不同任務(wù)池，任務(wù)池中任務(wù)越多映射值越大，表示向下取整，n_CI表示指示符補(bǔ)充值，用于在不同任務(wù)池對取余運(yùn)算時(shí)，對進(jìn)行補(bǔ)充，避免不同任務(wù)池的優(yōu)先級相差過大，mod為取余運(yùn)算；

數(shù)據(jù)解析模塊，與所述任務(wù)下發(fā)模塊數(shù)據(jù)連接，用于獲取來自中間代理服務(wù)端的用戶信息流量數(shù)據(jù)并將所述用戶信息流量數(shù)據(jù)解析為待解析報(bào)文信息，所述數(shù)據(jù)解析模塊構(gòu)建報(bào)文解析神經(jīng)網(wǎng)絡(luò)模型，將所述待解析報(bào)文信息輸入報(bào)文解析神經(jīng)網(wǎng)絡(luò)模型，判斷所述待解析報(bào)文信息中是否包括指定用戶信息并提取。

2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)，其特征在于，所述任務(wù)下發(fā)模塊，包括：

任務(wù)管理部分，用于所述用戶信息獲取任務(wù)的創(chuàng)建和下發(fā)；

任務(wù)空間部分，與所述數(shù)據(jù)解析模塊和所述任務(wù)管理部分?jǐn)?shù)據(jù)連接，所述任務(wù)空間部分包括至少一個(gè)任務(wù)池，所述任務(wù)空間部分用于計(jì)算任務(wù)池優(yōu)先級、制定任務(wù)下發(fā)規(guī)則和對所述具有優(yōu)先級參數(shù)的用戶信息獲取任務(wù)進(jìn)行加密。

3.根據(jù)權(quán)利要求1或2所述的網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)解析模塊，包括：

解析通信單元，用于獲取并傳輸來自中間代理服務(wù)端的用戶信息流量數(shù)據(jù)；

過濾單元，與所述解析通信單元數(shù)據(jù)連接，用于接收并過濾所述用戶信息流量數(shù)據(jù)，所述過濾單元還用于傳輸過濾后用戶信息流量數(shù)據(jù)；

結(jié)構(gòu)解析單元，與所述過濾單元數(shù)據(jù)連接，用于獲取所述過濾后用戶信息流量數(shù)據(jù)，所述結(jié)構(gòu)解析單元將所述過濾后用戶信息流量數(shù)據(jù)以報(bào)文格式樹的形式設(shè)置，得到待解析報(bào)文信息；

深度識別單元，與所述結(jié)構(gòu)解析單元數(shù)據(jù)連接，所述深度識別單元用于構(gòu)建報(bào)文解析神經(jīng)網(wǎng)絡(luò)模型，通過所述報(bào)文解析神經(jīng)網(wǎng)絡(luò)模型對所述待解析報(bào)文信息進(jìn)行特征提取，判斷所述待解析報(bào)文信息中是否包括指定用戶信息并提取，傳輸提取的指定用戶信息。

4.一種網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)，其特征在于，包括移動(dòng)終端，所述移動(dòng)終端包括：

應(yīng)用控制模塊，用于獲取來自服務(wù)器的具有優(yōu)先級參數(shù)的用戶信息獲取任務(wù)，根據(jù)所述具有優(yōu)先級參數(shù)的用戶信息獲取任務(wù)，發(fā)送激活指令至中間代理服務(wù)端，獲取來自所述中間代理服務(wù)端反饋的激活答復(fù)，在所述中間代理服務(wù)端激活成功后將所述具有優(yōu)先級參數(shù)的用戶信息獲取任務(wù)發(fā)送至所述中間代理服務(wù)端，其中，通過如下公式計(jì)算優(yōu)先級參數(shù)：

其中，Pri_i表示任務(wù)類別i的優(yōu)先級參數(shù)，L表示任務(wù)類別i中共有L個(gè)任務(wù)，taskl_l表示任務(wù)類別i中第l個(gè)任務(wù)的創(chuàng)建順序衡量值，ntask_l表示第l個(gè)任務(wù)相同內(nèi)容發(fā)布過的次數(shù)，a，c均為常數(shù)值，由系統(tǒng)隨機(jī)分配，a，c∈[0，1]，b_t-1表示時(shí)隙標(biāo)識符，用于表示不同時(shí)間段之間的影響，b_t＝(a*b_t-1)modc，taskp_i表示任務(wù)類別i的映射值，用于區(qū)分不同任務(wù)池，任務(wù)池中任務(wù)越多映射值越大，表示向下取整，n_CI表示指示符補(bǔ)充值，用于在不同任務(wù)池對取余運(yùn)算時(shí)，對進(jìn)行補(bǔ)充，避免不同任務(wù)池的優(yōu)先級相差過大，mod為取余運(yùn)算。