[發明專利]一種帶狀態流計算系統中的異常監控及預測方法和系統

有效

• 申請號: 201710090521.4
• 申請日: 2017-02-20
• 公開（公告）號: CN106844161B
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 徐光俠;趙璐;陶荊朝;常光輝;劉俊;范時平;王天羿;吳新凱;張令浩
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06K9/62
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅;李金蓉

本發明提出了一種帶狀態流計算系統中的異常監控及預測方法和系統，該方法主要對帶狀態的流計算系統進行全面實時監控并采集系統性能指標；采用數據降維方法對分類器輸入數據進行預處理，然后利用分類算法獲取最優的分類平面；通過系統預測模塊預測系統下一時刻的運行狀態；將預測的運行狀態構成的平面與分類器所得的最優分類平面進行比較，最終可以預測出系統是否出現異常，并根據檢查結果對分類器進行更新，使得獲取的分類平面能自適應系統運行狀況，最終達到監控及預測系統運行狀態的目的。降維處理不僅實現了降維的目的，減少特征向量的維數，而且縮短了訓練時間，計算量并沒有隨著維數升高而增加很多。

技術領域

本發明涉及計算機技術領域，涉及利用機器學習算法對帶狀態流計算系統的特征屬性進行分析處理，具體涉及一種帶狀態流計算系統中的異常監控及預測方法。

背景技術

近年來，隨著社會數據量的日益膨脹，流式計算系統已經成為計算機工業界和學術界的關注熱點，并在各領域受到廣泛使用，從生產應用方面來看，流計算已經初步走入大型電信系統，電力電網系統，銀行金融交易系統等重要應用領域，同時在學術界，流計算系統在各類國際頂級學術會議中獲得高度關注。數據流式計算是一種實時產生、實時處理的一個數據處理模式，并且數據的價值隨著時間的推移而降低，所以當一個事件發生后需要立即進行處理，與批處理技術有顯著的區別。但是流式計算系統處理的事件流是簡單的、無狀態的，其事件流所含信息量往往相對較少，只能解決簡單的統計、預處理以及初級的流計算任務，導致流式計算系統不能處理一些復雜任務，因此需要考慮事件流之間的關聯，并將這些有關聯的事件流在一個時間窗口內進行計算、聚合等操作，形成復雜的事件流，從而生成更高抽象層次、符合業務需求的高級事件，提高系統上層的決策能力。

帶狀態的流式計算是實時處理有狀態事件流的重要方式。在該系統中，基本事件為監控到系統運行時的系統特征，異常事件包括計算機重新啟動、系統參數變化、電源故障、通信中斷等。經過事件解析和內存數據庫的交互得到具有語義的基本事件流，經過流計算引擎的聚合、篩選和計算形成高級的復雜事件，就可以檢測出系統的故障。系統連續監控每個組件的行為，周期性收集系統日志數據，例如，CPU空閑時間、可用內存，空閑的處理器時間等作為特征流元組，元組的狀態可以分為兩類：正常和異常。如果發現系統出現異常，則監控系統對當前的系統數據進行備份。面對安全性需求很高的領域，把復雜事件處理技術應用其中，這將導致該行業面臨著嚴重的安全威脅，所以安全問題仍然是制約流式計算系統發展的主要因素。

由于流計算系統處理的事件都是有狀態的，但狀態的轉換需要等待下一狀態事件的發生，在該事件發生的過程中外部進入系統的事件流會急劇增高，對系統造成極大的負荷，并且事件發生的狀態是不可控的，即事件在內存中等待的時間是不確定的，容易引起內存的聚集，如何解決對帶狀態流計算系統的異常監控及預測是當中亟待解決的問題。如果無法保證系統高效可靠的運行，云計算、物聯網、移動互連、社交媒體等新興信息技術的發展將遭受很大的阻礙。目前帶狀態流計算系統的異常監控主要存在以下幾個問題：(1)只能查看系統的當前狀態，無法對系統之前監控數據進行查詢和比對，從而不能完成合理的系統性能評估分析、優化以及系統集群規模伸縮性預測。(2)現有異常檢測方式比較被動，使得故障發生之后才能得到解決，不但延長了故障時間，而且大大降低了集群系統的可用性。(3)缺少對整個集群系統的全方面狀態信息監控，無法了解系統之間的聯系，缺少多故障發生時定位故障源的參考依據。

發明內容

本發明提供一種帶狀態流計算系統中的異常監控及預測方法和系統，根據監控到系統當前的運行狀態預測下一時刻系統的狀態，判定系統是否會發生異常，從而提高帶狀態流計算系統的可靠性和穩定性。