[發明專利]一種基于軟硬件一體機的數據監控處理方法

在審

• 申請號: 202011025069.1
• 申請日: 2020-09-25
• 公開（公告）號: CN112148686A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 李虹
• 申請（專利權）人: 酒泉鋼鐵（集團）有限責任公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/174;G06F16/18
• 代理公司: 蘭州智和專利代理事務所(普通合伙) 62201
• 代理人: 周立新

本發明提供了一種基于軟硬件一體機的數據監控處理方法，該方法具體流程為：軟硬件一體機上連接有用于存儲以及分析處理數據的日志中心，所述軟硬件一體機向日志中心定時增量傳輸數據，所述日志中心對軟硬件一體機所傳輸的數據進行分類形成不同的種類的日志，并將分類后的日志進行存儲并對不同種類的日志設置日志刪除優先級，日志中心內設置有數據總量閾值，當日志中心內的數據總量到達閾值時，日志中心根據日志刪除優先級與數據進行刪除。本發明通過日志中心根據日志刪除優先級以及日志存儲時間，對不重要且存儲時間較長的數據進行刪除清理，既保證了規定的日志存儲時間，又能保證存儲資源充足可用。

技術領域

本發明屬于信息存儲技術領域，涉及一種基于軟硬件一體機的數據監控處理方法。

背景技術

軟硬件一體機通常出廠后，計算資源和存儲資源都是固定的，無法對設備的容量進行擴充，容量有限導致了存儲數據量的局限性，而且安監類系統的存儲日志在《中國人民共和國網絡安全法》中有明確的保留周期要求，如果軟硬件一體機容量不足以容納規定保留周期的日志，一方面違背了法律規范，另一方面也導致企業在發生網絡安全事件時，無法對過期的日志進行調取和分析，影響事件追蹤和因果判定。

另外由于企業大數據分析平臺對員工畫像的分析需求，使得軟硬件一體機需要高頻率向大數據分析平臺傳輸數據，高頻傳輸數據還會影響軟硬件一體機的性能。通過配置外置日志中心，通過FTP方式定期將軟硬件一體機的日志導出到利舊的存儲資源，由于利舊存儲資源也是有限的，所以不能無限制的導出，同時又要保證存儲資源夠用不影響日志的寫入，同時寫入到存儲的日志種類過多，如何對日志種類和日志生成日志進行判斷，并通過FTP方式傳輸給企業大數據分析平臺是一大難點。

發明內容

本發明的目的在于針對現有技術存在的問題，提供一種基于軟硬件一體機的數據監控處理系統。

為此，本發明采取如下技術方案：

一種基于軟硬件一體機的數據監控處理方法，該方法具體流程為：軟硬件一體機上連接有用于存儲以及分析處理數據的日志中心，所述軟硬件一體機通過FTP協議向日志中心定時增量傳輸數據，且軟硬件一體機可實時查看日志中心內所存儲的數據，所述日志中心對軟硬件一體機所傳輸的數據進行分類并生成不同的種類的日志，將分類后的日志進行存儲并對不同種類的日志設置日志刪除優先級，日志中心內設置有數據總量閾值，當日志中心內的數據總量到達閾值時，日志中心根據日志刪除優先級以及日志存儲日期對數據進行刪除。

進一步地，所述日志中心包括用于存儲數據的存儲器以及用于對存儲器內數據進行處理的數據處理模塊，所述數據處理模塊包括多個用于數據處理的數據處理腳本，所述數據處理腳本還設有用于執行數據處理腳本的程序。

進一步地，所述數據處理腳本包括用于軟硬件一體機實時查看日志中心存儲日志的日志監控腳本、用于對日志中心所存儲數據進行分類的文件分類腳本，用于設置日志刪除優先級并根據優先級刪除日志的日志刪除優先級配置腳本、用于判斷日志存儲日期的日期判斷腳本。

進一步地，所述日志中心還連接有用于分析數據的大數據分析平臺，日志中心定時將日志傳輸至大數據分析平臺做日志分析。

本發明的有益效果在于：

（1）通過編寫腳本實現資源監控、文件分類和自動清理優先級配置，設置存儲器空間閾值和日志清理優先級，當數據總量到達閾值時，日志中心根據日志刪除優先級以及日志存儲時間，對不重要且存儲時間較長的數據進行刪除清理，既保證了規定的日志存儲時間，又能保證存儲資源充足可用。

（2）將軟硬件一體機的數據導出至日志中心，后續的工作均在日志中心進行，這樣在業務需求固定的情況下，將對上網行為管理軟硬件一體機的性能影響和行為管控影響降到最低，同時又能滿足企業大數據分析平臺高頻率抽取數據的需求，降低數據抽取對系統的影響。