[發明專利]基于RoBERTa的網絡日志安全檢測方法及系統

在審

• 申請號: 202211178487.3
• 申請日: 2022-09-26
• 公開（公告）號: CN115587007A
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 宋厚營;張銘倫;尹雷;陳浩;臧磊;王瑞;劉景雯;陳境宇;李琦;趙厚凱
• 申請（專利權）人: 國網江蘇省電力有限公司連云港供電分公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 段宇軒

本發明公開了一種基于RoBERTa的網絡日志安全檢測方法及系統，該方法包括：獲取所有網絡設備的帶標簽網絡日志數據集；對帶標簽網絡日志數據預處理；構建RoBERTa模型并通過帶標簽網絡日志數據集對其訓練，所述RoBERTa模型采用雙向Transformer網絡結構作為編碼器，采用Softmax分類器獲取日志存在風險的概率；通過dropout函數篩選最優模型；將帶標簽網絡日志數據輸入至最優的RoBERTa模型獲取該日志存在風險的概率。本發明可以處理各類未知種類和格式的日志，提高了網絡日志安全檢測的準確性。

技術領域

本發明涉及網絡安全技術領域，特別涉及一種基于RoBERTa的網絡日志安全檢測方法及系統。

背景技術

網絡日志數據對網絡管理員來說非常重要，因為它包含網絡中發生的每一個事件的信息，包括系統錯誤、警報和數據包發送狀態。有效分析大量不同的日志數據帶來了在問題成為問題之前識別問題并防止未來網絡攻擊的機會；然而，不同NetFlow數據的處理帶來了諸如日志數據的容量、速度和準確性等挑戰。本發明通過RoBERTa模型可以簡化先進的網絡攻擊檢測模型。通過了解網絡攻擊行為并使用日志分析系統進行交叉驗證，可以從該模型中了解各種網絡攻擊的特征。

網絡日志包括各種類型的消息，從嚴重故障到正常控制臺日志。日志消息通常由三個組件組成：時間戳，主機標識符(例如IP地址)和消息。日志消息的格式取決于供應商或服務，沒有統一的描述規則。這就是為什么描述正則表達式和為每條消息定義新的警報規則非常耗時的原因。

目前行業內通常使用syslog協議作為在互聯網協議中傳遞消息的記錄標準，該協議主要用于網絡信息管理及安全審計工作。Syslog的報文格式具有一定的結構化，日志服務器可以直接接受syslog消息對其內容進行解析從而實現時間的簡單判斷。

當前syslog日志組件存在眾多缺點，例如：無嚴格格式控制，運維工程師需要學習大量專業知識；日志警告級別分類無統一規范，無法進行有效的關聯分析。所以對于網絡運維工程師，一種簡單易操作對知識儲備要求較低的日志處理方法的需求是極為迫切的。

日志已經成為當前信息系統產生的重要信息資源。基于日志的異常檢測技術可以有效發現系統中存在的安全問題，發掘潛在的安全威脅，成為當前發明的熱點。隨著人工智能技術的發展和普及，越來越多的相關發明成果已經應用于基于日志的異常檢測。在基于日志的異常檢測方法中，包括日志收集、日志解析、特征提取、異常檢測等步驟。其中，日志解析和異常檢測是核心部分，也是本專利重點論述的內容。

當前，日志解析的發明從傳統的定義正則表達式發展到自動化的方法，主要包括代碼分析、機器學習和自然語言處理等。在基于日志的異常檢測方法中，主要分為監督學習、無監督學習和深度學習等。異常檢測方法大多針對特定場景和數據集進行離線分析，缺乏通用性和高準確性的實用方法。當樣本較少時，模型往往不能發會最好的檢測效果，想要得到理想的模型效果就需要海量帶標簽的數據集進行多次迭代訓練，這期間需要消耗大量人力物力。并且，現在的攻擊越來越隱蔽，攻擊步驟越來越繁瑣，而對相關設備的日志聯合分析可以有效發現潛在攻擊。

綜上所述，為解決這些問題，模型不僅要關注單一日志來源，還需要結合不同事件、不同設備進行日志解析，進而進行異常檢測等；此外，利用機器學習的相關發明將進一步應用于在線檢測，構建通用、有效的在線基于日志的異常檢測方法，并應用到實際中變得十分重要。

發明內容

本發明的目的在于提供一種基于RoBERTa的網絡日志安全檢測方法及系統，本發明可以處理各類未知種類和格式的日志，提高了網絡日志安全檢測的準確性。

實現本發明目的的技術解決方案為：一種基于RoBERTa的網絡日志安全檢測方法，包括步驟:

獲取所有網絡設備的帶標簽網絡日志數據集；

對帶標簽網絡日志數據預處理；