[發明專利]基于去重算法的高性能數據風險影響面量化評估方法

在審

• 申請號: 202011168235.3
• 申請日: 2020-10-28
• 公開（公告）號: CN112257072A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 張騰偉;周頓科
• 申請（專利權）人: 全知科技（杭州）有限責任公司
• 主分類號: G06F21/57
• 分類號: G06F21/57;G06F16/215;G06F16/23;G06F16/2455;G06F16/2458
• 代理公司: 杭州奇炬知識產權代理事務所(特殊普通合伙) 33393
• 代理人: 賀心韜

本發明公開了基于去重算法的高性能數據風險影響面量化評估方法，具體涉及數據安全領域，包括數據預處理模塊、數據緩存模塊、數據風險模塊、數據價值模塊和數據更新模塊。本發明通過基于loglogcounting、linear counting、adaptivecounting概率計數的大數據去重算法在數據安全風險影響面評估場景中的應用，針對海量主體進行高性能的數據安全風險影響面計算的方法，采用了高性能概率計數算法來實現低成本高性能的數據安全風險影響面度量，采用不同數據類型的加權去重數量統計方法來進行量化評估數據安全風險影響面，可應用于在數據安全行為風險度量的各類場景，實現對風險更全面、高效、客觀量化的評估。

技術領域

本發明涉及數據安全技術領域，更具體地說，本發明涉及基于去重算法的高性能數據風險影響面量化評估方法。

背景技術

在數據安全領域，風險的度量依賴于幾個核心要素，包括風險發生的可能性和風險的影響面，其中風險的影響面的刻畫需要對受影響的數據范圍和數據重要性進行評估。如果受影響的數據量非常大，則具有較高的潛在風險等級。這種風險評估和度量在事前的數據弱點風險評估、實時的數據行為監控、離線的行為風險評估，以及事后數據泄漏影響面等場景都有普遍的應用。

針對被評估的主體，不管是用戶、IP、數據接口、還是數據弱點維度，進行多次操作的數據量進行去重統計作為影響度量。這不僅需要統計單次訪問去重數據量，還需要更多聚合緯度的統計，比如天，周，月級別的統計。傳統的數據風險度量方法會將歷史訪問的數據存儲下來，每次新進來數據，都會與歷史數據再做一次去重，空間復雜度為O(n*m)，其中n為被評估主體數量，m為去重數據量。隨著互聯網快速發展，企業中的數據越來越多，存儲歷史數據的代價會越來越昂貴，在計算去重時會越來越慢，在多主體多維度統計場景，企業需要投入大量計算資源去處理，嚴重浪費企業資源，影響企業效益。另一方面，不同數據的價值存在較大差異，而簡單的去重統計無法有效考慮數據之間價值差異的因素。有鑒于此，本技術提供了一種量化計算數據影響面的方法，并提供一種高性能的數據影響面計算方式。

發明內容

為了克服現有技術的上述缺陷，本發明的實施例提供基于去重算法的高性能數據風險影響面量化評估方法，本發明所要解決的技術問題是：解決針對多主體多維度進行數據風險影響面評估過程中，需要投入大量計算資源進行影響面度量的問題，提高數據影響面計算方式的性能。

為實現上述目的，本發明提供如下技術方案：基于去重算法的高性能數據風險影響面量化評估方法，包括數據預處理模塊、數據緩存模塊、數據風險模塊、數據價值模塊和數據更新模塊，具體評估步驟如下：

S1、數據預處理：由數據預處理模塊對數據流動相關的日志進行結構化預處理，提取對數據操作的主體標識和被操作的數據客體標識；

S2、數據緩存：數據緩存模塊存儲了每個數據操作主體在評估周期內的操作數據客體的信息，傳統方法會保存所有的數據客體標識，當數據客體數量和數據操作主體數量特別大的時候，需要耗費大量的計算資源；采用loglog或者linear counting或者adaptivecounting算法將數據客體信息轉化為比特流并進行分桶統計，該存儲方式跟數據客體的數量無關，大幅減少了數據的存儲量；

S3、數據風險影響面：

a)從數據緩存中獲取當前主體多個統計周期內操作的不同數據類型的數據客體信息，通過loglogcounting/linear counting/adaptivecounting算法計算當前事件不同數據類型的數據客體比特流，更新該主體的不同統計周期下不同數據類型的數據客體信息，并計算各個周期內的近似去重數據量{C_i：i∈D}，其中D為數據類型的集合；

b)從數據價值模塊獲取不同數據類型的數據價值度量{V_i：i∈D}，其中D為數據類型的集合；