[發(fā)明專利]一種日志處理方法、系統(tǒng)、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011226002.4
• 申請日: 2020-11-05
• 公開（公告）號(hào): CN112433990A
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 潘利杰
• 申請（專利權(quán)）人: 北京浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F16/14
• 分類號(hào): G06F16/14;G06F16/18;G06F16/182;H04L29/06
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 徐麗

本發(fā)明公開了一種日志處理方法、系統(tǒng)、設(shè)備及可讀存儲(chǔ)介質(zhì)，該方法包括：對待處理日志進(jìn)行歸一化處理，得到指定格式的日志數(shù)據(jù)；利用攻擊類型識(shí)別沙盒，對日志數(shù)據(jù)標(biāo)記攻擊類型標(biāo)簽，得到標(biāo)簽日志數(shù)據(jù)；將標(biāo)簽日志數(shù)據(jù)存入檢索系統(tǒng)；在接收日志查詢請求后，利用數(shù)據(jù)查詢器并結(jié)合攻擊類型標(biāo)簽，從檢索系統(tǒng)中檢索與日志查詢請求匹配的目標(biāo)日志數(shù)據(jù)，并輸出目標(biāo)日志數(shù)據(jù)。該方法可通過對不同格式的日志進(jìn)行歸一化，對攻擊進(jìn)行識(shí)別，最終提供數(shù)據(jù)查詢功能，有利于提高基于日志記錄進(jìn)行攻擊分析的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及安全技術(shù)領(lǐng)域，特別是涉及一種日志處理方法、系統(tǒng)、設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

越來越多的企業(yè)將服務(wù)或業(yè)務(wù)系統(tǒng)暴露在公共網(wǎng)絡(luò)之中，一方面更加方便用戶使用，另一方面也會(huì)面臨更多的網(wǎng)絡(luò)攻擊。企業(yè)系統(tǒng)遭受網(wǎng)絡(luò)的類型多種，且任何一種攻擊都會(huì)給系統(tǒng)造成極大的風(fēng)險(xiǎn)和損失。

但是，只要在系統(tǒng)中開啟操作日志記錄，任何攻擊都會(huì)留下犯罪證據(jù)。而安全工程師可基于日志記錄，找出犯罪證據(jù)，進(jìn)而對攻擊進(jìn)行分析和防范。具體的，安全工程師基于系統(tǒng)后臺(tái)日志，手工分析排查分析，判斷某時(shí)間段內(nèi)是否存在被攻擊的日志記錄，如果存在攻擊行為則評估該次攻擊的影響范圍，查出攻擊者使用的攻擊手段和攻擊目的，判定該次攻擊行為給系統(tǒng)帶來的損失。

這種人工手動(dòng)篩選的方式效率并不高，如果多個(gè)產(chǎn)品線多個(gè)業(yè)務(wù)系統(tǒng)同時(shí)產(chǎn)生大量日志需要安全工程師分析，需要大量人員做重復(fù)勞動(dòng)力。

綜上所述，如何有效地提高基于日志記錄進(jìn)行攻擊分析的效率等問題，是目前本領(lǐng)域技術(shù)人員急需解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種日志處理方法、系統(tǒng)、設(shè)備及可讀存儲(chǔ)介質(zhì)，以提高基于日志記錄進(jìn)行攻擊分析的效率。

為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

一種日志處理方法，包括：

對待處理日志進(jìn)行歸一化處理，得到指定格式的日志數(shù)據(jù)；

利用攻擊類型識(shí)別沙盒，對所述日志數(shù)據(jù)標(biāo)記攻擊類型標(biāo)簽，得到標(biāo)簽日志數(shù)據(jù)；

將所述標(biāo)簽日志數(shù)據(jù)存入檢索系統(tǒng)；

在接收日志查詢請求后，利用數(shù)據(jù)查詢器并結(jié)合所述攻擊類型標(biāo)簽，從所述檢索系統(tǒng)中檢索與所述日志查詢請求匹配的目標(biāo)日志數(shù)據(jù)，并輸出所述目標(biāo)日志數(shù)據(jù)。

優(yōu)選地，將所述標(biāo)簽日志數(shù)據(jù)存入檢索系統(tǒng)，包括：

將所述標(biāo)簽日志數(shù)據(jù)存入HDFS；

將所述標(biāo)簽日志數(shù)據(jù)對應(yīng)的目標(biāo)索引存入ES檢索系統(tǒng)的index數(shù)據(jù)索引中。

優(yōu)選地，將所述標(biāo)簽日志數(shù)據(jù)存入HDFS，包括：

按照所述標(biāo)簽日志數(shù)據(jù)所屬的產(chǎn)品線系統(tǒng)、HDFS數(shù)據(jù)目錄位置存儲(chǔ)連接、數(shù)據(jù)對應(yīng)時(shí)間，將所述標(biāo)簽日志數(shù)據(jù)存入所述HDFS。

優(yōu)選地，所述利用數(shù)據(jù)查詢器并結(jié)合所述攻擊類型標(biāo)簽，從所述檢索系統(tǒng)中檢索與所述日志查詢請求匹配的目標(biāo)日志數(shù)據(jù)，包括：

解析所述日志查詢請求，得到查詢條件；所述查詢條件包括請求查詢的攻擊類型；

利用所述數(shù)據(jù)查詢器將所述查詢條件組裝為所述ES檢索系統(tǒng)對應(yīng)的ES查詢語句；

將所述ES查詢語句發(fā)送給所述ES檢索系統(tǒng)，得到所述ES檢索系統(tǒng)利用所述目標(biāo)索引查詢并反饋的所述目標(biāo)日志數(shù)據(jù)。

優(yōu)選地，所述對待處理日志進(jìn)行歸一化處理，得到指定格式的日志數(shù)據(jù)，包括：

接收并解析日志分析請求，確定出目標(biāo)產(chǎn)品線以及目標(biāo)時(shí)間段；