[發明專利]一種帶有警報功能的高安全性大數據分析方法

在審

• 申請號: 202010778666.5
• 申請日: 2020-08-05
• 公開（公告）號: CN111913944A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 胡亮;葛俊海;戴成杰
• 申請（專利權）人: 南京先維信息技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/28
• 代理公司: 北京律和信知識產權代理事務所(普通合伙) 11446
• 代理人: 王月春;劉國偉

1.一種帶有警報功能的高安全性大數據分析方法，其特征在于，包括如下步驟：

步驟一，用戶預先通過實名認證單元進行實名認證后上傳數據，實名認證單元分為三種方式可供不同用戶選擇，游客用戶可輸入本人身份證編號進入證件驗證通道進行身份驗證，內部員工可輸入工號和刷IC卡分別進入工號驗證通道和IC卡驗證通道進行身份驗證，身份驗證完成后，用戶將數據進行上傳；

步驟二，首先接收用戶上傳數據，再對上傳數據進行解析，再將解析后的數據經過去重、清洗、自動補全處理后轉化為結構化數據，然后進入預處理階段，預處理階段再對數據進行快速的檢測，主要采用規則檢測的方法檢測比較明顯的異常，經過預處理后的數據存儲在存儲模塊內；

步驟三、包括:

通過對處理后的數據進行基本的統計，進行初步的異常檢測；

采用聚類的方法來對所述統計分析得到的數據特征進行聚類，發現潛在和未知數據異常；和/或

采用這些標簽化的數據訓練異常行為識別分類器，發現異常數據，并確認準確性；

步驟四、分析處理后的數據傳輸至數據報警單元，接著數據整理分類單元對產生的警報信息進行統一規整分類，且分別傳輸至三級內網警報模塊、二級外網警報模塊、一級平臺警報模塊進行不同等級報警處理；

步驟五、根據不同等級的警報信息進行數據態勢建模處理，再通過數據結果顯示模塊以3D虛擬形式進行建模展示，且傳輸的警報信息最后存儲至數據存儲模塊內。

2.根據權利要求1所述的帶有警報功能的高安全性大數據分析方法，其特征在于，所述在步驟一中證件驗證通道輸入的身份證編號僅為后六位數字，且身份證編號最后一位X用#代替，且附加本人移動電話號碼。

3.根據權利要求1所述的帶有警報功能的高安全性大數據分析方法，其特征在于，所述在步驟一中工號驗證通道輸入的員工工號個數范圍介于6-12位，且工號信息包括公司拼音簡稱、員工入職日期以及員工所處編號。

4.根據權利要求1所述的帶有警報功能的高安全性大數據分析方法，其特征在于，所述在步驟二中上傳的數據種類包括安全設備的日志、主機和服務器的日志、網絡中傳輸的原始報文(pcap包)和netflow數據以及HR內部系統數據，HR內部系統數據包括人員所屬的部門、權限、主管職務范圍以及分管職務范圍。

5.根據權利要求1所述的帶有警報功能的高安全性大數據分析方法，其特征在于，包括：

通過對處理后的數據進行基本的統計，最大值、最小值、均值、標準差等，可以找出數據特征的變化范圍與規律，即變量的基線，再對得到的基線進行初步的異常檢測，如針對特定的一個用戶，檢測其從內部服務器上傳數據文件的行為，如果某個時段其上傳數據文件的頻率的數據量與歷史時期相比明顯增加，那么這個用戶可能有惡意盜取數據或者賬號被盜的異常。

6.根據權利要求1所述的帶有警報功能的高安全性大數據分析方法，其特征在于，采用聚類的方法來對所述統計分析得到的數據特征進行聚類，發現潛在和未知數據異常，包括：

由于上傳的原始數據和經過預處理的數據大部分是無標簽數據，無監督分析模塊可對無標簽數據進行分析，并采用聚類的方法來對統計分析得到的數據特征進行聚類，可以找出數據的多維度基線，由于很多數據從單個維度看不存在異常，而多個維度放在一起分析后，就可能會存在異常，從而聚類分析方法可基于多維度的基線找出數據中的離群點，發現潛在的和未知的數據異常。

7.根據權利要求1所述的帶有警報功能的高安全性大數據分析方法，其特征在于，采用這些標簽化的數據訓練異常行為識別分類器，發現異常數據，并確認準確性，包括：

采用這些標簽化的數據訓練異常行為識別分類器，如神經網絡間，決策樹等，利用訓練好的分類器對未知的數據進行檢測，可以發現異常的數據，并給出異常的評分，分類器輸出的異常數據經過安全管理員確認后，得到真實的告警和誤報，真實的告警作為新的規則輸入到平臺中，且誤報作為白名單輸入到分類器的訓練集，然后迭代的訓練分類器，逐步提高分類器的準確性。