[發(fā)明專利]一種頻次類實(shí)時(shí)統(tǒng)計(jì)模型系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710225408.2
• 申請(qǐng)日: 2017-04-07
• 公開（公告）號(hào): CN107046489B
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計(jì)）人: 崔寧;李超;王夷;魯驚雷;文佳;王文博;張偉;汪剛;馬建平
• 申請(qǐng)（專利權(quán)）人: 上海熙菱信息技術(shù)有限公司
• 主分類號(hào): H04L12/26
• 分類號(hào): H04L12/26;H04L29/06
• 代理公司: 上海旭誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 31220
• 代理人: 鄭立

本發(fā)明公開了一種頻次類實(shí)時(shí)統(tǒng)計(jì)模型系統(tǒng)及方法，其中數(shù)據(jù)記錄方法包括：在每一條數(shù)據(jù)記錄入庫(kù)時(shí)，確定當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間；分別對(duì)以所述當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間為基準(zhǔn)的前一頻次周期和后一頻次周期內(nèi)的數(shù)據(jù)記錄數(shù)進(jìn)行更新。本技術(shù)方案解決了現(xiàn)有技術(shù)中對(duì)用戶訪問(wèn)和操作日志的統(tǒng)計(jì)方法會(huì)有延遲較大，且存在統(tǒng)計(jì)遺漏等問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)統(tǒng)計(jì)領(lǐng)域，尤其涉及一種頻次類實(shí)時(shí)統(tǒng)計(jì)模型系統(tǒng)及方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和更新，基于網(wǎng)絡(luò)的應(yīng)用越來(lái)越多。企事業(yè)單位內(nèi)部信息化程度越來(lái)越高，很多關(guān)鍵信息都存放在信息系統(tǒng)中，企業(yè)內(nèi)部發(fā)生的頻繁訪問(wèn)有可能是內(nèi)部員工在盜取數(shù)據(jù)；互聯(lián)網(wǎng)應(yīng)用和網(wǎng)站越來(lái)越多，其中出現(xiàn)的頻繁訪問(wèn)有可能是正常的用戶使用，也有可能是黑客攻擊。

例如，根據(jù)某個(gè)業(yè)務(wù)系統(tǒng)中的訪問(wèn)日志記錄，員工A在5分鐘內(nèi)進(jìn)行了1000次訪問(wèn)操作，正常情況下，不可有人達(dá)到如此高的操作頻率，出現(xiàn)這個(gè)情況有可能是此員工正在通過(guò)第三方的插件或程序?qū)ο到y(tǒng)進(jìn)行數(shù)據(jù)盜取。

又例如，根據(jù)某網(wǎng)站的用戶訪問(wèn)日志記錄，某IP在1分鐘內(nèi)進(jìn)行了100次登錄操作，正常情況下不可能有人進(jìn)行這樣的操作，出現(xiàn)這個(gè)情況有可能是黑客程序正在暴力破解用戶密碼。

傳統(tǒng)的解決方案是使用定時(shí)任務(wù)，定期對(duì)用戶訪問(wèn)和操作日志進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)一分鐘或5分鐘內(nèi)的操作數(shù)量，超過(guò)閥值進(jìn)行告警。但是這樣的解決方案有不少弊端，具體如下：

1、延遲較大，當(dāng)發(fā)現(xiàn)超閥值時(shí)，實(shí)際可能已經(jīng)過(guò)去了一段時(shí)間。

2、如果訪問(wèn)和操作日志采集來(lái)自多個(gè)系統(tǒng)，數(shù)據(jù)來(lái)源延遲時(shí)，統(tǒng)計(jì)數(shù)量會(huì)存在遺漏的情況。

3、如果為減少定時(shí)任務(wù)延遲性，可能會(huì)將定時(shí)任務(wù)執(zhí)行周期調(diào)短，但是不管如何調(diào)短，仍然會(huì)存在跨周期超閥值而統(tǒng)計(jì)盲點(diǎn)的情況，比如：執(zhí)行周期1分鐘進(jìn)行1次統(tǒng)計(jì)，設(shè)定閥值為1分鐘100次操作，用戶在3：31：59進(jìn)行了60次操作，在3：32：01進(jìn)行了60次操作，根據(jù)統(tǒng)計(jì)來(lái)看，每一個(gè)分鐘片段都沒(méi)有超閥值，但實(shí)際上用戶是在3秒內(nèi)進(jìn)行了120次操作，類似此種情況，傳統(tǒng)的統(tǒng)計(jì)任務(wù)無(wú)法識(shí)別。如果設(shè)定周期為1秒鐘1次，則會(huì)存在大量的無(wú)用查詢，增加數(shù)據(jù)庫(kù)壓力。

發(fā)明內(nèi)容

本發(fā)明解決的問(wèn)題是現(xiàn)有的對(duì)用戶訪問(wèn)和操作日志的統(tǒng)計(jì)方法會(huì)有延遲較大，且存在統(tǒng)計(jì)遺漏等問(wèn)題。

為解決上述問(wèn)題，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)記錄處理方法，包括如下步驟：

在每一條數(shù)據(jù)記錄入庫(kù)時(shí)，確定當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間；

分別對(duì)以所述當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間為基準(zhǔn)的前一頻次周期和后一頻次周期內(nèi)的數(shù)據(jù)記錄數(shù)進(jìn)行更新。

可選的，數(shù)據(jù)記錄處理方法還包括如下步驟：

在查詢超閾值的頻次計(jì)數(shù)時(shí)，遍歷各個(gè)以當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間為基準(zhǔn)的前一頻次周期和后一頻次周期內(nèi)的數(shù)據(jù)記錄數(shù)；

篩選出大于所述閾值的數(shù)據(jù)記錄數(shù)所在的頻次周期及其對(duì)應(yīng)的當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間，以確定頻次計(jì)數(shù)超閾值的時(shí)間段。

可選的，所述當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間是當(dāng)前數(shù)據(jù)記錄的入庫(kù)時(shí)間或者是早于當(dāng)前數(shù)據(jù)記錄的入庫(kù)時(shí)間。

可選的，所述分別對(duì)以所述當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間為基準(zhǔn)的前一頻次周期和后一頻次周期內(nèi)的數(shù)據(jù)記錄數(shù)進(jìn)行更新包括：

將以所述當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間為基準(zhǔn)的前一頻次周期內(nèi)的數(shù)據(jù)記錄數(shù)加1；

將以所述當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間為基準(zhǔn)的后一頻次周期內(nèi)的數(shù)據(jù)記錄數(shù)加1。

可選的，各個(gè)以當(dāng)前數(shù)據(jù)記錄的產(chǎn)生時(shí)間為基準(zhǔn)的頻次周期的時(shí)長(zhǎng)相等。

與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案具有以下有益效果：