[發明專利]國網云中應用的一種基于大數據運維日志的方法

在審

• 申請號: 201710365526.3
• 申請日: 2017-05-22
• 公開（公告）號: CN107332685A
• 公開（公告）日: 2017-11-07
• 發明（設計）人: 王萍;胡聰;吳斌;馬永;張禾良;蔡夢臣;吳尚;徐敏;方圓;倪平波;張捷;胡州明;歐淵;楊帆;吳磊;左發先
• 申請（專利權）人: 國網安徽省電力公司信息通信分公司;四川中電啟明星信息技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26
• 代理公司: 成都君合集專利代理事務所(普通合伙)51228
• 代理人: 張鳴潔

技術領域

本發明涉及計算機技術領域，具體的說，是國網云中應用的一種基于大數據運維日志的方法。

背景技術

“國網云”包括生產控制云、企業管理云和公共服務云，分別為國家電網公司的生產控制、企業管理及對外服務提供相應的技術支撐，而“國網云”平臺則是管理、調控、支撐這三朵云的核心。大數據(big data)，指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。大數據運維日志主要來自于機器數據，機器數據主要是指來自服務器、存儲、網絡中的傳統接口數據，也常常被認為是機器生產的數據，機器生成的數據是發展最快、最復雜同時也是最寶貴的那部分大數據，但是現有的大數據挖掘和數據分析基本上都是建立在人的行為和商業運作產生的數據上，當服務器出錯時，運維人員需要進入每一臺服務器上應用的安裝目錄，找到日志路徑，篩選日志產生的時間，再進入日志文本中查找關鍵字，找到報錯的日志信息。這樣運維人員需要經過繁瑣的操作和篩選，才能將定位出錯的位置,并且傳統的日志服務器缺少實時過濾和深入分析日志能力，存在不能實時的分析和展示當前狀況以及預測未來情況的問題。

發明內容

本發明的目的在于提供國網云中應用的一種基于大數據運維日志的方法，用于解決現有技術中運維日志出錯時運維人員需要進入服務器出錯日志的根目錄查找關鍵詞，篩選數據量較大、工作繁瑣、效率不高以及不能預測未來日志流量是否超出預警值的問題。

為了達到上述目的，本發明通過下述技術方案實現：

國網云中應用的一種基于大數據運維日志的方法，包括搭建大數據運維日志的硬件環境、軟件環境和集群環境，還包括：

1)采集日志信息并進行日志預處理，具體包括：

1.1)從軟硬件設備采集日志信息，并采用shell腳本、python腳本或Apache腳本中的任意一種對所述日志信息解析后轉換成統一的日志格式，所述日志信息包括計算機信息、系統信息、進程信息、磁盤信息、服務信息和應用信息；

1.2)用SQL語言提取日志中的用戶名和IP地址，生成用于識別用戶的表格實現日志清洗去重，所述SQL語言的代碼為：

index＝splunk_monitoring sourcetype＝tcp//獲取索引和日志類型

dedup host//去掉重復此主機的日志

table localaddress localport remotehostname remoteport processname username//統計該日志字段的值，并生成表格；

1.3)由所述表格中提取的用戶名和IP地址識別用戶，并生成以IP地址為主字段的記錄實現日志用戶識別；

2)統計一段時間的日志流量，并據此預測出日志流量的走勢并生成流量走勢圖展示給用戶，具體包括：

統計一段時間的日志流量，運用時間序列分析法進行日志流量統計，預測日志流量的走勢，為后續的日志流量預測模型提供數據；

日志流量預測模型加載所述日志流量值并運行，并生成流量走勢圖，實時的預測日志流量；

3)將步驟2)中生成的流量走勢圖通過展示界面可視化呈現。

大數據運維日志分為日志預處理、日志流量預測、展示界面三大塊，通過腳本對日志進行解析后轉換成統一的日志格式，經過日志的清洗和合并，提取以IP地址為主字段的記錄實現日志用戶識別，再通過時間序列分析法對日志流量進行統計，再采用日志流量預測模型進行預測，日志流量預測模型采用卡爾曼濾波算法模型，通過運行日志預處理后的信息，運行模型，最后生成展示界面。當運維人員發現預測的流量繼續向上，并且將要超過以前的歷史流量高點時，可考慮在現有帶寬的基礎上進行擴容，實現對災難的提前預警。

進一步的優選，所述展示界面還包括用于展示服務器運行情況的服務器監控模塊，所述服務器監控模塊分析本地服務器產生的日志信息，并顯示當前服務器的動態實現監控本地服務器以及采用splunk指定要訪問云上服務器，通過遠程桌面連接云上服務器，收集云上服務器的數據至本地，從最新的日志數據中，提取出最新的服務器空間狀況，實現云上服務器的實時監控。