[發(fā)明專利]一種網(wǎng)絡(luò)行為特征的差量計算方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201610910820.3
• 申請日: 2016-10-19
• 公開（公告）號: CN106598823B
• 公開（公告）日: 2019-01-25
• 發(fā)明（設(shè)計）人: 方強(qiáng);王橋石;陳昌龍;張新波
• 申請（專利權(quán)）人: 同盾控股有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/2458;H04L29/08
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 蘇培華

本發(fā)明提供了一種網(wǎng)絡(luò)行為特征的差量計算方法，涉及網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)領(lǐng)域。該方法包括：持續(xù)獲取用戶網(wǎng)絡(luò)行為的特征信息；將距當(dāng)前時刻最近的一個時間周期內(nèi)的特征信息存入第一數(shù)據(jù)庫；定時一個時間周期拉取特征信息并按不同維度聚合計算，將結(jié)果與上一個時間周期節(jié)點的統(tǒng)計值進(jìn)行累加，得到當(dāng)前時間周期節(jié)點的統(tǒng)計值并存入第二數(shù)據(jù)庫；接收查詢請求后，根據(jù)時間窗口讀取第二數(shù)據(jù)庫中的兩個時間周期節(jié)點的統(tǒng)計值并相減得到差量，將差量與讀取的第一數(shù)據(jù)庫的特征信息進(jìn)行合并，得到所要查詢的特征指標(biāo)。采用此方法不僅可以靈活、快速、準(zhǔn)確地統(tǒng)計各種維度的指標(biāo)，而且?guī)缀蹩梢詽M足高量并發(fā)場景的在線實時計算的要求。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種網(wǎng)絡(luò)行為特征的差量計算方法和一種網(wǎng)絡(luò)行為特征的差量計算系統(tǒng)。

背景技術(shù)

風(fēng)險控制系統(tǒng)中，為了評估風(fēng)險，往往需要對用戶行為特征進(jìn)行統(tǒng)計，計算用戶行為的特征指標(biāo)并以此來評估風(fēng)險。在進(jìn)行用戶行為特征統(tǒng)計時，通常需要計算用戶網(wǎng)絡(luò)行為某個維度在過去某個特定的時段出現(xiàn)的次數(shù)、關(guān)聯(lián)關(guān)系、變化趨勢等，比如過去5分鐘某個IP(Internet Protocol，網(wǎng)絡(luò)之間互連的協(xié)議)登錄次數(shù)，過去3天某個設(shè)備ID(DeviceID，設(shè)備唯一標(biāo)識)關(guān)聯(lián)的用戶賬號數(shù)等，以此來作為網(wǎng)絡(luò)異常行為分析的重要依據(jù)。

在先的對用戶網(wǎng)絡(luò)行為的特征指標(biāo)的計算方案大致包括下述三種：

第一種，把數(shù)據(jù)存入數(shù)據(jù)庫，并在需要統(tǒng)計的字段上加上索引，每次計算時根據(jù)查詢條件在數(shù)據(jù)庫中獲取用戶行為特征信息，統(tǒng)計用戶行為特征指標(biāo)。

第二種，把數(shù)據(jù)按不同維度聚合后，存儲在NoSQL(Not only Structured QueryLanguage，非關(guān)系型數(shù)據(jù)庫)中，通過對關(guān)鍵值Key值的精巧設(shè)計，在每次計算時根據(jù)查詢條件快速定位到對應(yīng)的特征信息，并進(jìn)行讀取，然后統(tǒng)計用戶行為的特征指標(biāo)。

第三種，把數(shù)據(jù)按照分鐘、小時、天時間片進(jìn)行聚合存入數(shù)據(jù)庫，在每次計算時根據(jù)查詢條件在數(shù)據(jù)庫中獲取用戶行為特征信息，統(tǒng)計用戶行為特征指標(biāo)。

在發(fā)明人應(yīng)用上述方案的過程中發(fā)現(xiàn)，第一種方案存在兩個問題，一個是如果每個字段都要加索引，對寫入性能影響較大，二是如果事件中的字段是由客戶傳入的，是有非常多的可能，無法在數(shù)據(jù)庫建表時進(jìn)行窮舉，建表后新增字段代價也非常高，所以計算用戶行為特征時靈活度差。即使字段是確定的，然后每次計算時根據(jù)查詢條件在數(shù)據(jù)庫中進(jìn)行統(tǒng)計，在數(shù)據(jù)量比較大的情況下，性能會到秒級，無法滿足實時性的要求。第二種方案存在的問題是，當(dāng)遇到欺詐、作弊等異常網(wǎng)絡(luò)行為時，由于該網(wǎng)絡(luò)行為特征的表現(xiàn)之一就是高并發(fā)，數(shù)據(jù)量大，這會導(dǎo)致在讀取數(shù)據(jù)時因為數(shù)據(jù)量過大而經(jīng)常超時，如果限制數(shù)據(jù)的條數(shù)就會導(dǎo)致計算不準(zhǔn)。第三種方法也存在問題，對于回溯窗口特別長或數(shù)據(jù)量特別大的時候也會比較耗時，滿足不了在線實時性的要求。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術(shù)的缺陷，本發(fā)明要解決的技術(shù)問題是提供一種對網(wǎng)絡(luò)行為特征計算的方法，用以靈活、快速、準(zhǔn)確地統(tǒng)計各種維度的特征指標(biāo)，滿足高量并發(fā)場景的在線實時計算的要求。

為了解決上述問題，本發(fā)明公開了一種網(wǎng)絡(luò)行為特征的差量計算方法，所述方法包括：

持續(xù)獲取用戶網(wǎng)絡(luò)行為的特征信息；

將距離當(dāng)前時刻最近的一個時間周期內(nèi)的所述的特征信息存入第一數(shù)據(jù)庫；

按一個時間周期定期拉取所述的特征信息，并根據(jù)所述特征信息計算一個時間周期內(nèi)的各個維度的特征指標(biāo)；

針對不同維度，將當(dāng)前時間周期內(nèi)計算獲得的特征指標(biāo)與上一個時間周期節(jié)點的特征指標(biāo)統(tǒng)計值進(jìn)行累加，得到當(dāng)前時間周期節(jié)點的各個維度的特征指標(biāo)統(tǒng)計值，并將所述當(dāng)前時間周期節(jié)點的各個維度的特征指標(biāo)統(tǒng)計值存入第二數(shù)據(jù)庫；

接收查詢請求，所述查詢請求包括時間窗口和至少一個維度的特征指標(biāo)；