[發(fā)明專利]一種實時檢測日志序列異常的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010698610.9
• 申請日: 2020-07-20
• 公開（公告）號: CN111930592A
• 公開（公告）日: 2020-11-13
• 發(fā)明（設(shè)計）人: 殷偉斌;嚴(yán)耀良;肖艷煒;孔飄紅;陳國恩;王躍強;張磊;章杜錫;徐紅泉;張仲孝;尚浩志;胡健鵬;徐晨
• 申請（專利權(quán)）人: 國網(wǎng)浙江省電力有限公司嘉興供電公司;嘉興恒創(chuàng)電力集團有限公司華創(chuàng)信息科技分公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06N3/04;G06N3/08
• 代理公司: 浙江杭知橋律師事務(wù)所 33256
• 代理人: 陳麗霞

本發(fā)明涉及工控信息安全領(lǐng)域，公開了一種實時檢測日志序列異常的方法和系統(tǒng)，其包括日志采集，通過主動采集和被動采集的方式獲取日志；日志解析，通過drain算法對采集的日志進行解析；并對解析后的匹配正確的日志事件分入相應(yīng)的日志組；日志異常檢測，通過N?gram模型和LSTM模型對解析后的日志實時的進行日志異常檢測；基于Drain日志解析算法可實時對工業(yè)系統(tǒng)日志流進行自動化解析成工控系統(tǒng)運行狀態(tài)和各關(guān)鍵節(jié)點重要事件的日志事件序列；通過N?gram模型、LSTM模型對解析的日志事件序列進行異常檢測，實現(xiàn)對工業(yè)控制系統(tǒng)異常進行告警。將工控日志流進行實時自動化解析和系統(tǒng)異常發(fā)現(xiàn)告警，使得工控系統(tǒng)故障和攻擊能夠及時發(fā)現(xiàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及工控信息安全領(lǐng)域，尤其涉及了一種實時檢測日志序列異常的方法和系統(tǒng)。

背景技術(shù)

現(xiàn)代工業(yè)控制系統(tǒng)的規(guī)模正在變得越來越龐大和復(fù)雜，工業(yè)控制系統(tǒng)的系統(tǒng)日志記錄了各種系統(tǒng)的運行狀態(tài)和各關(guān)鍵節(jié)點的重要事件，幫助人們理解系統(tǒng)狀態(tài)，調(diào)試系統(tǒng)故障，用于分析、查找故障根本原因。一旦工業(yè)控制系統(tǒng)的系統(tǒng)日志運行出現(xiàn)差錯，不能及時發(fā)現(xiàn)問題并定位問題所在，對于生產(chǎn)造成的損失是巨大的。

傳統(tǒng)的日志采集分析系統(tǒng)對于故障發(fā)生后的原因分析有所幫助，但是在實時工業(yè)控制系統(tǒng)的系統(tǒng)日志異常檢測上有所欠缺，因為每次分析的日志都是某一階段產(chǎn)生的日志，發(fā)現(xiàn)的問題可能是在幾天前發(fā)生的，并不是當(dāng)時發(fā)生的，也就不能及時發(fā)現(xiàn)系統(tǒng)的故障狀態(tài)。

專利標(biāo)題：用于把工業(yè)控制系統(tǒng)的安全事件記入日志的系統(tǒng)和方法，申請?zhí)枺篊N103376794B，申請日：2013-04-28的專利申請中一種系統(tǒng)包括包含存儲器和處理器的安全服務(wù)器，安全服務(wù)器配置成接收來自人機界面(HMI)設(shè)備的第一組通信，其中第一組通信涉及HMI設(shè)備安全事件。安全服務(wù)器還配置成接收來自工業(yè)控制器的第二組通信，其中第二組通信涉及工業(yè)控制器安全事件。安全服務(wù)器還配置成打包并且發(fā)送接收的第一組和第二組通信給遠程管理安全服務(wù)提供商(MSSP)用于分析。

現(xiàn)有技術(shù)中，對于工控系統(tǒng)中的日志異常不能進行實時的檢測，不能及時發(fā)現(xiàn)系統(tǒng)的故障。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)中，對于工控系統(tǒng)中的日志異常不能進行實時的檢測，不能及時發(fā)現(xiàn)系統(tǒng)的故障的問題，提供了一種實時檢測日志序列異常的方法和系統(tǒng)。

為了解決上述技術(shù)問題，本發(fā)明通過下述技術(shù)方案得以解決：

一種實時檢測日志序列異常的方法，包括如下步驟：

日志采集，通過主動采集和被動采集的方式獲取日志；

日志解析，對原始采集的日志進行處理，通過drain算法對采集的日志進行解析；并對解析后的匹配正確的日志事件分入相應(yīng)的日志組；

日志異常檢測，通過N-gram模型和LSTM模型對解析后的日志實時的進行日志異常檢測。

作為優(yōu)選，主動采集的方式為通過Flume agent的方法，將運行的日志轉(zhuǎn)發(fā)至Flume agent；Flume agent為中央服務(wù)器。

被動采集方式通過syslog協(xié)議、SNMP協(xié)議獲取運行狀態(tài)的日志，其包括路由器和交換機的日志。

作為優(yōu)選，日志采集采集工控設(shè)備、組態(tài)軟件、網(wǎng)絡(luò)設(shè)備、系統(tǒng)等產(chǎn)生的體制數(shù)據(jù)。

作為優(yōu)選，日志解析原始日志在通過日志解析進行匹配或更新，并且將解析結(jié)果傳送至檢測，為實時檢測提供結(jié)構(gòu)化的數(shù)據(jù)，包括如下步驟：

日志消息長度搜索，Drain將預(yù)處理日志消息的長度值通過解析樹進行日志組的遍歷，確定具有相同日志消息長度值日志模板的日志組列表；日志消息長度即日志消息中的字段數(shù)；