[發明專利]基于去重算法的高性能數據風險影響面量化評估方法

在審

• 申請號: 202011168235.3
• 申請日: 2020-10-28
• 公開（公告）號: CN112257072A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 張騰偉;周頓科
• 申請（專利權）人: 全知科技（杭州）有限責任公司
• 主分類號: G06F21/57
• 分類號: G06F21/57;G06F16/215;G06F16/23;G06F16/2455;G06F16/2458
• 代理公司: 杭州奇炬知識產權代理事務所(特殊普通合伙) 33393
• 代理人: 賀心韜

1.基于去重算法的高性能數據風險影響面量化評估方法，其特征在于：包括數據預處理模塊、數據緩存模塊、數據風險模塊、數據價值模塊和數據更新模塊，具體評估步驟如下：

S1、數據預處理：由數據預處理模塊對數據流動相關的日志進行結構化預處理，提取對數據操作的主體標識和被操作的數據客體標識；

S2、數據緩存：數據緩存模塊存儲了每個數據操作主體在評估周期內的操作數據客體的信息，傳統方法會保存所有的數據客體標識，當數據客體數量和數據操作主體數量特別大的時候，需要耗費大量的計算資源；采用loglog或者linear counting或者adaptivecounting算法將數據客體信息轉化為比特流并進行分桶統計；

S3、數據風險影響面：

a)從數據緩存中獲取當前主體多個統計周期內操作的不同數據類型的數據客體信息，通過loglogcounting/linear counting/adaptivecounting算法計算當前事件不同數據類型的數據客體比特流，更新該主體的不同統計周期下不同數據類型的數據客體信息，并計算各個周期內的近似去重數據量{C_i：i∈D}，其中D為數據類型的集合；

b)從數據價值模塊獲取不同數據類型的數據價值度量{V_i：i∈D}，其中D為數據類型的集合；

c)數據影響面可以通過下述公示計算所得：∑_i∈DV_i*C_i；

S4、數據更新：數據更新模塊將更新后數據客體比特流分組信息存入數據緩存模塊。

2.根據權利要求1所述的基于去重算法的高性能數據風險影響面量化評估方法，其特征在于：所述步驟S1中數據操作主體設置為單個或多個，包括賬號、用戶、IP，被操作的數據客體也設置為單個或多個。

3.根據權利要求1所述的基于去重算法的高性能數據風險影響面量化評估方法，其特征在于：所述步驟a)中LinearCounting原理為:

設有Hash(散列)函數H，和長度為m個bitmap(位圖)，每個bit位初始化均為0，將一組數據hash到bitmap中，若命中某一位，就將其置為1；設bitmap還有u個為0的bit位；

已知n個不同元素服從獨立均勻分布；設Aj為事件經過n個不同元素哈希后，第j個桶為0：

每個桶都是獨立的，則u的期望為：

當n,m∈∞，其值為

4.根據權利要求1所述的基于去重算法的高性能數據風險影響面量化評估方法，其特征在于：所述步驟a)中LogLogCounting原理：

給定Hash空間m，每個空間稱為桶(bucket)，對于每個元素，其哈希值前k比特作為桶值(k＝log₂m)設每個桶內最大元素為M[i]，采用分桶平均估算n：

5.根據權利要求1所述的基于去重算法的高性能數據風險影響面量化評估方法，其特征在于：所述步驟a)中AdaptiveCount原理:

數量較大時LinearCounting誤差較大，數量較少時LogLogCounting誤差較大，AdaptiveCounting結合兩者誤差給出閾值，根據閾值選擇使用何種算法：