[發明專利]一種海量安全日志信息過濾方法及裝置

在審

• 申請號: 201810642159.1
• 申請日: 2018-06-21
• 公開（公告）號: CN109101527A
• 公開（公告）日: 2018-12-28
• 發明（設計）人: 亞靜;柳廳文;李全剛;張盼盼;時金橋
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06N3/04;H04L29/06
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 司立彬

1.一種海量安全日志信息過濾方法，其步驟包括：

1)提取安全日志信息的特征序列；

2)根據黑白名單對所述特征序列進行標注，利用標注好的特征序列訓練向量表示模型；

其中，將根據黑白名單無法標注的特征序列稱為灰度數據；

3)利用訓練好的向量表示模型，對所述灰度數據進行向量表示，得到各所述灰度數據對應的向量；

4)計算每一所述灰度數據i對應的向量與各標注為白名單的特征序列對應的向量之間的距離d；如果該距離d小于設定閾值，則過濾掉所述灰度數據i對應的安全日志。

2.如權利要求1所述的方法，其特征在于，所述特征序列包括日志對應主體的內容特征、行為特征。

3.如權利要求2所述的方法，其特征在于，所述內容特征為日志主體本身的屬性信息，包括域名長度、TLD，主機IP地址的網段、所屬國家，用戶的身份、權限；所述行為特征為日志中記錄的行為信息，包括域名解析行為、用戶發起請求方式以及服務器響應狀態。

4.如權利要求1所述的方法，其特征在于，采用歐幾里得距離計算公式、曼哈頓距離計算公式或切比雪夫距離計算公式計算所述距離d。

5.如權利要求1所述的方法，其特征在于，將標注好的特征序列輸入到孿生神經網絡中，訓練得到所述向量表示模型。

6.如權利要求5所述的方法，其特征在于，在所述孿生神經網絡的三重損失函數上應用梯度下降算法，通過三個樣本計算所述三重損失函數d(A,P)+α≤d(A,N)；其中，d(A,P)為標注樣本A與正樣本P之間的距離，d(A,N)為標注樣本A與負樣本N之間的距離，α為一個超參數，用于防止不同的樣本學習出相同的向量。

7.一種海量安全日志信息過濾裝置，其特征在于，包括特征序列提取模塊、標注模塊、向量表示模型訓練模塊、向量生成模塊、距離計算模塊和過濾模塊；其中，

所述特征序列提取模塊，用于從安全日志信息中提取特征項作為安全日志信息的特征序列；

所述標注模塊，用于根據黑白名單對所述特征序列進行標注，其中，將根據黑白名單無法標注的特征序列稱為灰度數據；

所述向量表示模型訓練模塊，用于利用標注好的特征序列訓練得到向量表示模型；

所述向量生成模塊，用于利用訓練好的向量表示模型，對所述灰度數據進行向量表示，得到各所述灰度數據對應的向量；

所述距離計算模塊，用于計算每一所述灰度數據i對應的向量與各標注為白名單的特征序列對應的向量之間的距離d；

所述過濾模塊，用于比較該距離d與設定閾值的關系，如果該距離d小于設定閾值，則過濾掉所述灰度數據i對應的安全日志。

8.如權利要求7所述的裝置，其特征在于，所述特征序列包括日志對應主體的內容特征、行為特征；所述內容特征為日志主體本身的屬性信息，包括域名長度、TLD，主機IP地址的網段、所屬國家，用戶的身份、權限；所述行為特征為日志中記錄的行為信息，包括域名解析行為、用戶發起請求方式以及服務器響應狀態。

9.如權利要求7所述的裝置，其特征在于，所述向量表示模型訓練模塊將標注好的特征序列輸入到孿生神經網絡中，訓練得到所述向量表示模型；在所述孿生神經網絡的三重損失函數上應用梯度下降算法，通過三個樣本計算所述三重損失函數d(A,P)+α≤d(A,N)；其中，d(A,P)為標注樣本A與正樣本P之間的距離，d(A,N)為標注樣本A與負樣本N之間的距離，α為一個超參數，用于防止不同的樣本學習出相同的向量。

10.如權利要求7所述的裝置，其特征在于，所述距離計算模塊采用歐幾里得距離計算公式、曼哈頓距離計算公式或切比雪夫距離計算公式計算所述距離d。