[發明專利]一種智能預警方法及系統、推薦系統

在審

• 申請號: 201911070627.3
• 申請日: 2019-11-05
• 公開（公告）號: CN110806961A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 左壯;崔文正;和樹偉;王拓;桂峰
• 申請（專利權）人: 上海七牛信息技術有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

本發明實施例提供了一種智能預警方法及系統、推薦系統，其方法包括：獲取服務器的日志信息；對日志文本進行數據清洗；將清洗后的文本進行向量化處理；對向量化的數據進行處理，獲得異常的關鍵信息；根據獲得異常的關鍵信息發出預警提示。本發明針對服務器日志的特有的特征，能夠很好挖掘日志中包含的信息，大大提高服務器運維的自動化和智能化程度。

技術領域

本發明涉及服務器運維領域，尤其涉及一種智能預警方法及系統、推薦系統。

背景技術

信息技術的高速發展，讓各行各業進行信息化建設越來越多，由于計算機技術和網絡技術發展的復雜性，很多信息的處理都集成在后端的服務器上。隨著服務器承載的功能越越來多，其集成的技術也越來越復雜，面對的問題比如負載、網絡安全、擴容、系統正常運行等也帶來越來越多的挑戰，對服務器的運維技術要求越越來高，甚至需要有精通各個技術領域的技術專家組件的團隊才能保證服務器或平臺的正常運行，從而給企業的技術能力和經營成本帶來沉重的負擔。

因此，針對上述挑戰，業界開發各種自動化的運維和檢測系統，針對服務器的常見問題，設置一些關鍵參數和指標，根據流量的動態基線來分析異常，比如CPU的占用率達到某些預先設置的閾值，則視為異常，或者則發出預警通知，提醒管理員，能夠很好地幫助管理員技術處理和定位問題。

上述技術方案中，設置閾值判斷異常一方面依賴個人經驗，另一方面也產生一些潛在問題，閾值設置高，可能會有些問題被忽略，閾值設置的較低，則會由很多不必要的預警通知發生。

更智能一些的運維，通過分析服務器的日志來進行分析發現異常，根據預先設置的關鍵詞來提取。通過分析服務器日志來發現異常，一方面，雖然服務器日志記載都是文本，但和目前自然語言處理技術所處理的文本并不同，當前的自然語言處理的理論和方法并不能完適用在服務器日志這類文本上。另一方面，對過去發生的異常需要具有足夠的積累，也是嚴重依賴經驗，而且對于潛在新的異常，無法發現新情況。

因此，在監控預設的異常之外，擺脫經驗的依賴，如何發現新的異常以及把新異常作為日常監控的關鍵參數和指標，從而預先提醒運維人員，及早采取處理措施，是當前需要面對的技術問題。

發明內容

本發明實施例提供一種智能預警方法，包括：

獲取服務器的日志信息；

對日志文本進行數據清洗；

將清洗后的文本進行向量化處理；

對向量化的數據進行處理，獲得異常的關鍵信息；

根據獲得異常的關鍵信息發出預警提示。

進一步地，對日志文本進行數據清洗包括：

去除停止詞；

對隨機內容進行統一化處理：將和聚類結果關聯小的隨機內容替換成各種類別信息；

提取輔助信息：提取日志文本的非關鍵信息，根據預警對靈敏度的強度，調整非關鍵信息的權重。

進一步地，進行向量化處理包括：

將清洗后的文本轉化為特征數組；

計算所述特征數組的特征值；

根據分配的權重進行聚合，得到清洗后的文本的特征向量。

進一步地，對向量化的數據進行處理，獲得異常的關鍵信息的步驟包括：

通過快速哈希算法記得獲得每條日志的特征哈希值；

根據哈希值計算日志間的特征距離；

根據特征距離對日志進行聚合；

將距離遠的日志作為異常的信息。