[發明專利]一種基于大數據計算技術的數據安全審計方法及系統

在審

• 申請號: 202010713842.7
• 申請日: 2020-07-22
• 公開（公告）號: CN111858251A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 劉迎風;馮桂安;梁滿;馮駿;何怡;傅行曉;周亞美
• 申請（專利權）人: 上海市大數據中心
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/18
• 代理公司: 上海申新律師事務所 31272
• 代理人: 黨蕾

本發明公開了一種基于大數據計算技術的數據安全審計方法及系統，屬于大數據安全領域，包括采集服務器的日志數據，發送至一流處理平臺；接收某一個或多個日志數據，進行解析，將解析后的日志數據發送至至少一個數據目標地；對解析后的日志數據進行歸類，判斷日志數據是實時數據還是非實時數據，將實時數據發送至流處理平臺進行存儲；將非實時數據發送至數據中心進行存儲；分別對日志數據進行分析處理并得到一分析結果；根據分析結果生成相應的告警信息并輸出。本發明的有益效果在于：基于flume實現日志采集及存儲，引入任務調度和任務監控，豐富了flume日志采集源和輸出源；基于flink實現數據安全審計、告警監控管理及處理、安全風險識別。

技術領域

本發明涉及大數據安全領域，尤其涉及一種基于大數據計算技術的數據安全審計方法及系統。

背景技術

近年來，數據安全審計系統已經愈發重要，數據審計系統主要用于監視并記錄對數據服務器的各類操作行為，通過對網絡數據的分析，實時地、智能地解析對數據服務器的各種操作，并記入審計數據庫中以便日后進行查詢、分析、過濾，實現對目標數據審計系統的用戶操作的監控和審計，尤其對各行業公共數據資源整合和利用時，急需數據安全審計系統來為數據的安全應用、共享交換、開放提供保證。

在現有的數據流轉使用過程中，由于缺乏審計防護措施，工作中針對安全事件的查詢方式是借助大量人工手動進行條件篩查，在海量日志庫中進行檢索，審計效率低，導致結果受人為因素干擾較大，因此存在審計不及時、審計力度不足等問題，不能滿足數據安全審計要求，數據再流轉使用過程中存在安全風險，而傳統的大數據計算方法受限于磁盤讀寫性能以及網絡性能的相關約束，在進行實時數據的查詢、計算和存儲等各方面都不算是高效的，因此針對以上問題，迫切需要設計出一種基于大數據計算技術的數據安全審計方法及系統，以滿足實際使用的需要。

發明內容

為了解決以上技術問題，本發明提供了一種基于大數據計算技術的數據安全審計方法及系統。

本發明所解決的技術問題可以采用以下技術方案實現：

本發明提供一種基于大數據計算技術的數據安全審計方法，包括：

步驟S1，采集服務器的日志數據，并將采集的所述日志數據發送至一流處理平臺；

步驟S2，接收所述流處理平臺中的某一個或多個所述日志數據，并對所述日志數據進行解析，將解析后的所述日志數據輸出并發送至至少一個數據目標地；

步驟S3，對解析后的所述日志數據進行歸類，判斷所述日志數據是實時數據還是非實時數據：

若是實時數據，則發送至所述流處理平臺進行存儲；

若是非實時數據，則發送至數據中心進行存儲；

步驟S4，根據所述步驟S3中的歸類，分別對所述日志數據進行分析處理并得到一分析結果，輸出所述分析結果；

步驟S5，根據所述分析結果生成相應的告警信息并輸出。

優選地，所述步驟S1，于所述日志數據采集過程中，持續管理和監控所述流處理平臺和所述日志數據的采集狀況、采集量。

優選地，對所述實時數據進行在線分析處理，以及對所述非實時數據進行離線分析處理；

所述在線分析步驟包括：

步驟A1，對所述實時數據進行分類，并存儲于所述流處理平臺的集群中，所述集群包括全局事件以及至少一個內部事件；

步驟A2，對所述全局事件和至少一個所述內部事件進行實時關聯分析；

步驟A3，判斷是否為內部事件：

若是，則轉入步驟A4；