[發明專利]基于算法選擇的日志檢索分析及可視化挖掘方法

在審

• 申請號: 202010672021.3
• 申請日: 2020-07-14
• 公開（公告）號: CN111897788A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 謝輝;謝良漢;易鵬程;尤如飛
• 申請（專利權）人: 中電福富信息科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/182;G06F16/26;G06F30/27
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 戴雨君

本發明公開基于算法選擇的日志檢索分析及可視化挖掘方法，基于算法的檢索分析是在日志屬性條件配置的基礎上引入了算法相關信息的配置，通過對不同條件之間的測算完成日志的檢索分析。通過仿真模型確定模型結構和各參數初始范圍,挖掘現場運行的歷史數據,利用智能優化算法對模型進行校正,得到系統的傳遞函數模型數據分析。建模需要先明確業務需求，然后選擇是描述型分析還是預測型分析。如果分析的目的是描述客戶行為模式，就采用描述型數據分析，描述型分析就考慮關聯規則、序列規則、聚類等模型。本發明引入基于模型和可視化的挖掘分析，提高了用戶對挖掘分析的整體流程的感知。

技術領域

本發明涉及數據分析及挖掘技術領域，尤其涉及基于算法選擇的日志檢索分析及可視化挖掘方法。

背景技術

舊的檢索分析基于檢索條件生成規則，并不能直觀的體現出系統在檢索分析過程中使用了什么樣的方式來進行，檢索規則具體起了什么樣的作用，通過對檢索分析規則與算法配置關聯關系，提高了規則的可讀性。傳統的挖掘分析基于規則和算法進行，用戶配置后由后臺挖掘引擎根據規則完成與大數據平臺的對接和算法的處理，這些操作都在后臺進行，用戶無法進行感知。引入基于模型和可視化的挖掘分析，提高了用戶對挖掘分析的整體流程的感知。

發明內容

本發明的目的在于提供基于算法選擇的日志檢索分析及可視化挖掘方法。

本發明采用的技術方案是：

基于算法選擇的日志檢索分析及可視化挖掘方法，其包括檢索和挖掘兩部分，具體步驟如下：

一、檢索部分包括以下步驟：

步驟1-1，采集獲取所有的日志數據，構建索引后存儲于分布式文件系統中；

步驟1-2,根據自身檢索的需求從多種候選測算方法中選取一個算法；

步驟1-3,根據選定的算法配置對應的算法參數信息；

步驟1-4,基于配置信息執行選定的算法流程以獲取對應的測算結果；

步驟1-5，基于測試結果決定是否產生告警；

二、挖掘部分包括以下步驟：

步驟2-1，明確業務需求并基于業務需求從候選模型選擇對應的模型；

步驟2-2，基于選定模型的特點設置對應的條件以配置挖掘數據的來源；

步驟2-3，針對確定的挖掘數據來源調整選定模型的算法參數信息；

步驟2-4，執行選定的模型得到模型運算結果；

步驟2-5，根據模型中的配置通過告警、報表、可視化的方式輸出模型挖掘的分析結果。

進一步地，步驟1-2中候選算法包括容忍度測算方法、突變測算方法、峰值測算方法和差值測算方法。

進一步地，檢索部分中當容忍度測算方法為選定算法時，則：

步驟1-3的具體步驟為：

步驟1-3-1，選擇容忍行為的屬性條件；

步驟1-3-2，選擇被容忍行為的屬性條件；

步驟1-3-3，選擇容忍度測算的關注點；

步驟1-4的執行選定算法后具體流程步驟為：

步驟1-4-1，提取容忍行為的數據；

步驟1-4-2，提取容忍行為的關注點；

步驟1-4-3，從單個關注點提取容忍和被容忍的占比；