[發明專利]一種基于日志圖建模的異常檢測方法和裝置

有效

• 申請號: 201810433083.1
• 申請日: 2018-05-08
• 公開（公告）號: CN108920947B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 宗志遠
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06F16/901;G06F16/906;G06K9/62
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本發明提供了一種基于日志圖建模的異常檢測方法和裝置，該方法和裝置應用于非社交網絡，具體為根據非社交網絡中預先標注的異常數據的關鍵字段構建一個二分圖，二分圖的左邊節點對應多個用戶賬號、右邊節點則對應業務接口請求時的參數組合；從二分圖中進行特征提取，并將提取的特征拼接為特征向量；基于異常數據和特征向量進行k?means聚類處理，得到最優聚類數目；根據最優聚類數目并使用高斯混合模型擬合出黑產特征概率分布；當接收到傳入數據時，根據傳入的數據的特征向量和高斯混合模型計算數據的黑產概率，并根據黑產概率和黑產特征概率分布判斷數據是否異常。當判定數據異常時，可以及時對用戶的訪問行為進行干預，從而可以避免黑客對網絡攻擊。

技術領域

本發明涉及網絡安全技術領域，特別是涉及一種基于日志圖建模的異常檢測方法和裝置。

背景技術

在QQ、微信、微博等社交網絡中，用戶之間的關系圖可以刻畫出他們之間的共同好友、共同偏好等特性，進而可以用于向用戶推薦好友，對用戶群進行分類處理等。

對于非社交網絡來說，用戶同樣是公司的核心資產，只是用戶之間缺乏直接的關聯，很難使用現有的社交網絡挖掘方法來研究用戶問題。這樣一來，一方面制約了社交網絡中的研究成果在非社交網絡的應用，另一方面也導致非社交網絡公司缺乏從關系圖的角度來認知用戶的能力，特別的，黑客在攻擊時，往往采用相關聯的手段攻擊相關聯的目標。因此，如何將日志數據構建成圖，并從圖中挖掘異常的情況，已成為在網絡安全分析中非常重要的研究課題。

發明內容

有鑒于此，本發明提供了一種基于日志圖建模的異常檢測方法，用于對傳入數據進行快速分析，以從中檢測出異常數據，以此避免黑客對網絡的攻擊。

為了解決上述問題，本發明公開了一種基于日志圖建模的異常檢測方法，應用于非社交網絡，所述異常檢測方法包括步驟：

根據所述非社交網絡中預先標注的異常數據的關鍵字段構建一個二分圖，所述二分圖的左邊節點對應多個用戶賬號、右邊節點則對應業務接口請求時的參數組合；

從所述二分圖中進行特征提取，并將提取的特征拼接為特征向量；

基于所述異常數據和所述特征向量進行k-means聚類處理，得到最優聚類數目；

根據所述最優聚類數目并使用高斯混合模型擬合出黑產特征概率分布；

當接收到傳入數據時，根據傳入的數據的特征向量和所述高斯混合模型計算所述數據的黑產概率，并根據所述黑產概率和所述黑產特征概率分布判斷所述數據是否異常。

可選的，所述根據所述非社交網絡中預先標注的異常數據的關鍵字段構建一個二分圖，包括：

從所述異常數據中抽取多個關鍵字段，所述關鍵字段包括用戶賬號、用戶名、ip、設備id；

利用所述多個關鍵字段構建上述二分圖。

可選的，所述從所述二分圖中進行特征提取，并將提取的特征拼接為特征向量，包括：

從所述二分圖中提取一度特征和二度特征；

將所述一度特征和所述二度特征進行拼接處理，得到所述特征向量。

可選的，所述基于所述異常數據和所述特征向量進行k-means聚類處理，得到最優聚類數目，包括：

通過預先設定的多個聚類數目進行k-means聚類處理；

根據處理的效果從多個聚類數目中確定所述最優聚類數目

相應的，為了保證上述方法的實施，本發明還提供了一種基于日志圖建模的異常檢測裝置，應用于非社交網絡，所述異常檢測裝置包括：