[發明專利]一種帶有警報功能的高安全性大數據分析方法

在審

• 申請號: 202010778666.5
• 申請日: 2020-08-05
• 公開（公告）號: CN111913944A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 胡亮;葛俊海;戴成杰
• 申請（專利權）人: 南京先維信息技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/28
• 代理公司: 北京律和信知識產權代理事務所(普通合伙) 11446
• 代理人: 王月春;劉國偉

本發明提供一種帶有警報功能的高安全性大數據分析方法，包括如下步驟：步驟一、實名認證單元：用戶預先通過實名認證單元進行實名認證后上傳數據，實名認證單元分為三種方式可供不同用戶選擇，游客用戶可輸入本人身份證編號進入證件驗證通道進行身份驗證。本發明通過實名認證單元的配合，可對上傳數據的用戶身份進行嚴格認證，防止不法分子和競爭對手混入，造成企業機密的泄漏，提高數據上傳過程中的安全性，通過數據處理單元，可對上傳的數據進行預先處理，通過數據分析單元的配合，可分別利用基礎統計分析模塊、無監督分析模塊以及有監督分析模塊三種分析方式對數據進行精準分析。

技術領域

本發明涉及大數據分析領域，尤其涉及一種帶有警報功能的高安全性大數據分析方法。

背景技術

大數據分析是指對規模巨大的數據進行分析，大數據可以概括為5個V，數據量大(Volume)、速度快(Velocity)、類型多(Variety)、價值(Value)、真實性(Veracity)。

在對于一些體量較為龐大的企業來說，需要用到大數據分析方法對海量數據進行分析處理，然而現有的大數據分析方法在分析過程中，不可對數據進行精準分析，易出現漏報、錯報和誤報的情況，從而不可對分析后的數據狀態進行等級警報，影響企業的整體機制運行，久而久之，易影響企業的整體公司架構。

因此，有必要提供一種帶有警報功能的高安全性大數據分析方法解決上述技術問題。

發明內容

本發明提供一種帶有警報功能的高安全性大數據分析方法，解決了現有的大數據分析方法在分析過程中，不可對數據進行精準分析，易出現漏報、錯報和誤報的情況，從而不可對分析后的數據狀態進行等級警報的問題。

為解決上述技術問題，本發明提供的帶有警報功能的高安全性大數據分析方法，包括如下步驟：

步驟一、實名認證單元：用戶預先通過實名認證單元進行實名認證后上傳數據，實名認證單元分為三種方式可供不同用戶選擇，游客用戶可輸入本人身份證編號進入證件驗證通道進行身份驗證，內部員工可輸入工號和刷IC卡分別進入工號驗證通道和IC卡驗證通道進行身份驗證，身份驗證完成后，用戶將數據進行上傳；

步驟二、數據處理單元：首先接收用戶上傳數據，再對上傳數據進行解析，再將解析后的數據經過去重、清洗、自動補全處理后轉化為結構化數據，然后進入預處理階段，預處理階段再對數據進行快速的檢測，主要采用規則檢測的方法檢測比較明顯的異常，經過預處理后的數據存儲在存儲模塊內；

步驟三、數據分析單元：通過對處理后的數據進行基本的統計，包括最大值、最小值、均值、標準差等，可以找出數據特征的變化范圍與規律，即變量的基線，再對得到的基線進行初步的異常檢測，如針對特定的一個用戶，檢測其從內部服務器上傳數據文件的行為，如果某個時段其上傳數據文件的頻率的數據量與歷史時期相比明顯增加，那么這個用戶可能有惡意盜取數據或者賬號被盜的異常；

由于上傳的原始數據和經過預處理的數據大部分是無標簽數據，無監督分析模塊可對無標簽數據進行分析，并采用聚類的方法來對統計分析得到的數據特征進行聚類，可以找出數據的多維度基線，由于很多數據從單個維度看不存在異常，而多個維度放在一起分析后，就可能會存在異常，從而聚類分析方法可基于多維度的基線找出數據中的離群點，發現潛在的和未知的數據異常；

采用這些標簽化的數據訓練異常行為識別分類器，如神經網絡間，決策樹等，利用訓練好的分類器對未知的數據進行檢測，可以發現異常的數據，并給出異常的評分，分類器輸出的異常數據經過安全管理員確認后，得到真實的告警和誤報，真實的告警作為新的規則輸入到平臺中，且誤報作為白名單輸入到分類器的訓練集，然后迭代的訓練分類器，逐步提高分類器的準確性；

步驟四、數據警報單元：分析處理后的數據傳輸至數據報警單元，接著數據整理分類單元對產生的警報信息進行統一規整分類，且分別傳輸至三級內網警報模塊、二級外網警報模塊、一級平臺警報模塊進行不同等級報警處理；