[發(fā)明專利]一種日志處理方法、系統(tǒng)、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011226002.4
• 申請(qǐng)日: 2020-11-05
• 公開（公告）號(hào): CN112433990A
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 潘利杰
• 申請(qǐng)（專利權(quán)）人: 北京浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F16/14
• 分類號(hào): G06F16/14;G06F16/18;G06F16/182;H04L29/06
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 徐麗

1.一種日志處理方法，其特征在于，包括：

對(duì)待處理日志進(jìn)行歸一化處理，得到指定格式的日志數(shù)據(jù)；

利用攻擊類型識(shí)別沙盒，對(duì)所述日志數(shù)據(jù)標(biāo)記攻擊類型標(biāo)簽，得到標(biāo)簽日志數(shù)據(jù)；

將所述標(biāo)簽日志數(shù)據(jù)存入檢索系統(tǒng)；

在接收日志查詢請(qǐng)求后，利用數(shù)據(jù)查詢器并結(jié)合所述攻擊類型標(biāo)簽，從所述檢索系統(tǒng)中檢索與所述日志查詢請(qǐng)求匹配的目標(biāo)日志數(shù)據(jù)，并輸出所述目標(biāo)日志數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的日志處理方法，其特征在于，將所述標(biāo)簽日志數(shù)據(jù)存入檢索系統(tǒng)，包括：

將所述標(biāo)簽日志數(shù)據(jù)存入HDFS；

將所述標(biāo)簽日志數(shù)據(jù)對(duì)應(yīng)的目標(biāo)索引存入ES檢索系統(tǒng)的index數(shù)據(jù)索引中。

3.根據(jù)權(quán)利要求2所述的日志處理方法，其特征在于，將所述標(biāo)簽日志數(shù)據(jù)存入HDFS，包括：

按照所述標(biāo)簽日志數(shù)據(jù)所屬的產(chǎn)品線系統(tǒng)、HDFS數(shù)據(jù)目錄位置存儲(chǔ)連接、數(shù)據(jù)對(duì)應(yīng)時(shí)間，將所述標(biāo)簽日志數(shù)據(jù)存入所述HDFS。

4.根據(jù)權(quán)利要求2所述的日志處理方法，其特征在于，所述利用數(shù)據(jù)查詢器并結(jié)合所述攻擊類型標(biāo)簽，從所述檢索系統(tǒng)中檢索與所述日志查詢請(qǐng)求匹配的目標(biāo)日志數(shù)據(jù)，包括：

解析所述日志查詢請(qǐng)求，得到查詢條件；所述查詢條件包括請(qǐng)求查詢的攻擊類型；

利用所述數(shù)據(jù)查詢器將所述查詢條件組裝為所述ES檢索系統(tǒng)對(duì)應(yīng)的ES查詢語句；

將所述ES查詢語句發(fā)送給所述ES檢索系統(tǒng)，得到所述ES檢索系統(tǒng)利用所述目標(biāo)索引查詢并反饋的所述目標(biāo)日志數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的日志處理方法，其特征在于，所述對(duì)待處理日志進(jìn)行歸一化處理，得到指定格式的日志數(shù)據(jù)，包括：

接收并解析日志分析請(qǐng)求，確定出目標(biāo)產(chǎn)品線以及目標(biāo)時(shí)間段；

獲取所述目標(biāo)產(chǎn)品線在所述目標(biāo)時(shí)間段產(chǎn)生的目標(biāo)日志；

將所述目標(biāo)日志確定為所述待處理日志；

對(duì)所述待處理日志進(jìn)行歸一化處理，得到所述日志數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的日志處理方法，其特征在于，所述對(duì)待處理日志進(jìn)行歸一化處理，得到指定格式的日志數(shù)據(jù)，包括：

按照所述待處理日志對(duì)應(yīng)的日志格式規(guī)則，對(duì)所述待處理日志進(jìn)行解析，得到日志內(nèi)容信息；所述日志內(nèi)容信息包括各個(gè)字段的字段名；

按照所述指定格式對(duì)應(yīng)的指定日志格式規(guī)則，生成與所述日志內(nèi)容信息對(duì)應(yīng)的所述日志數(shù)據(jù)；所述日志數(shù)據(jù)中的各個(gè)所述字段具有對(duì)應(yīng)的字段名。

7.根據(jù)權(quán)利要求6所述的日志處理方法，其特征在于，在得到所述日志內(nèi)容信息之后，在所述生成與所述日志內(nèi)容信息對(duì)應(yīng)的所述日志數(shù)據(jù)之前，還包括：

對(duì)所述日志內(nèi)容信息進(jìn)行數(shù)據(jù)清洗過濾。

8.一種日志處理系統(tǒng)，其特征在于，包括：

日志規(guī)則轉(zhuǎn)換器，用于對(duì)待處理日志進(jìn)行歸一化處理，得到指定格式的日志數(shù)據(jù)；

攻擊類型識(shí)別沙盒，用于利用攻擊類型識(shí)別沙盒，對(duì)所述日志數(shù)據(jù)標(biāo)記攻擊類型標(biāo)簽，得到標(biāo)簽日志數(shù)據(jù)；

結(jié)果數(shù)據(jù)轉(zhuǎn)存器，用于將所述標(biāo)簽日志數(shù)據(jù)存入檢索系統(tǒng)；

數(shù)據(jù)查詢器，用于在接收日志查詢請(qǐng)求后，利用數(shù)據(jù)查詢器并結(jié)合所述攻擊類型標(biāo)簽，從所述檢索系統(tǒng)中檢索與所述日志查詢請(qǐng)求匹配的目標(biāo)日志數(shù)據(jù)，并輸出所述目標(biāo)日志數(shù)據(jù)。

9.一種電子設(shè)備，其特征在于，包括：

存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；

處理器，用于執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述日志處理方法的步驟。

10.一種可讀存儲(chǔ)介質(zhì)，其特征在于，所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述日志處理方法的步驟。