[發(fā)明專利]基于算法選擇的日志檢索分析及可視化挖掘方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010672021.3
• 申請(qǐng)日: 2020-07-14
• 公開（公告）號(hào): CN111897788A
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 謝輝;謝良漢;易鵬程;尤如飛
• 申請(qǐng)（專利權(quán)）人: 中電福富信息科技有限公司
• 主分類號(hào): G06F16/18
• 分類號(hào): G06F16/18;G06F16/182;G06F16/26;G06F30/27
• 代理公司: 福州君誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 35211
• 代理人: 戴雨君

1.基于算法選擇的日志檢索分析及可視化挖掘方法，其特征在于：其包括檢索和挖掘兩部分，具體步驟如下：

一、檢索部分包括以下步驟：

步驟1-1，采集獲取所有的日志數(shù)據(jù)，構(gòu)建索引后存儲(chǔ)于分布式文件系統(tǒng)中；

步驟1-2,根據(jù)自身檢索的需求從多種候選測(cè)算方法中選取一個(gè)算法；

步驟1-3,根據(jù)選定的算法配置對(duì)應(yīng)的算法參數(shù)信息；

步驟1-4,基于配置信息執(zhí)行選定的算法流程以獲取對(duì)應(yīng)的測(cè)算結(jié)果；

步驟1-5，基于測(cè)試結(jié)果決定是否產(chǎn)生告警；

二、挖掘部分包括以下步驟：

步驟2-1，明確業(yè)務(wù)需求并基于業(yè)務(wù)需求從候選模型選擇對(duì)應(yīng)的模型；

步驟2-2，基于選定模型的特點(diǎn)設(shè)置對(duì)應(yīng)的條件以配置挖掘數(shù)據(jù)的來源；

步驟2-3，針對(duì)確定的挖掘數(shù)據(jù)來源調(diào)整選定模型的算法參數(shù)信息；

步驟2-4，執(zhí)行選定的模型得到模型運(yùn)算結(jié)果；

步驟2-5，根據(jù)模型中的配置通過告警、報(bào)表、可視化的方式輸出模型挖掘的分析結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于算法選擇的日志檢索分析及可視化挖掘方法，其特征在于：步驟1-2中候選算法包括容忍度測(cè)算方法、突變測(cè)算方法、峰值測(cè)算方法和差值測(cè)算方法。

3.根據(jù)權(quán)利要求2所述的基于算法選擇的日志檢索分析及可視化挖掘方法，其特征在于：檢索部分中當(dāng)容忍度測(cè)算方法為選定算法時(shí)，則：

步驟1-3的具體步驟為：

步驟1-3-1，選擇容忍行為的屬性條件；

步驟1-3-2，選擇被容忍行為的屬性條件；

步驟1-3-3，選擇容忍度測(cè)算的關(guān)注點(diǎn)；

步驟1-4的執(zhí)行選定算法后具體流程步驟為：

步驟1-4-1，提取容忍行為的數(shù)據(jù)；

步驟1-4-2，提取容忍行為的關(guān)注點(diǎn)；

步驟1-4-3，從單個(gè)關(guān)注點(diǎn)提取容忍和被容忍的占比；

步驟1-5的具體步驟為：判斷算法獲取同一關(guān)注點(diǎn)的占比是否超過容忍度閾值；是則，產(chǎn)生告警；否則，不告警并選定下個(gè)關(guān)注點(diǎn)執(zhí)行步驟1-5。

4.根據(jù)權(quán)利要求2所述的基于算法選擇的日志檢索分析及可視化挖掘方法，其特征在于：檢索部分中當(dāng)突變測(cè)算方法為選定算法時(shí)，則：

步驟1-3的具體步驟為：

步驟1-3-1，選擇突變測(cè)算的屬性條件；

步驟1-3-2，選擇突變測(cè)算的時(shí)間差；

步驟1-3-3，選擇突變測(cè)算的關(guān)注點(diǎn)；

步驟1-4的執(zhí)行選定算法后具體流程步驟為：

步驟1-4-1，提取當(dāng)前時(shí)間內(nèi)滿足屬性條件的數(shù)據(jù)按關(guān)注點(diǎn)匯總計(jì)數(shù)；當(dāng)前時(shí)間內(nèi)即表示（當(dāng)前時(shí)間-突變測(cè)算的時(shí)間差）到當(dāng)前時(shí)間的一段時(shí)間段；

步驟1-4-2，提取配置中上一個(gè)時(shí)間內(nèi)滿足屬性條件的數(shù)據(jù)的同一關(guān)注點(diǎn)匯總計(jì)數(shù)；

步驟1-5的具體步驟為：判斷算法獲取的同一關(guān)注點(diǎn)的前后時(shí)間的計(jì)數(shù)變化趨勢(shì)是否超過預(yù)設(shè)的趨勢(shì)變化閾值；是則，產(chǎn)生告警；否則，不告警并選定下個(gè)關(guān)注點(diǎn)執(zhí)行步驟1-5。

5.根據(jù)權(quán)利要求2所述的基于算法選擇的日志檢索分析及可視化挖掘方法，其特征在于：檢索部分中當(dāng)峰值測(cè)算方法為選定算法時(shí)，則：

步驟1-3的具體步驟為：

步驟1-3-1，選擇峰值測(cè)算的屬性條件；

步驟1-3-2，選擇峰值測(cè)算的關(guān)注點(diǎn)；

步驟1-3-3，配置初始top的值；

步驟1-3-4，配置top測(cè)算的閾值；

步驟1-4的執(zhí)行選定算法后具體流程步驟為：提取當(dāng)前時(shí)間內(nèi)滿足條件的數(shù)據(jù)按關(guān)注點(diǎn)匯總并計(jì)數(shù)排名；

步驟1-5的具體步驟為：按排名從大到小判斷算法獲取的top的值是否超過峰值的閾值；是則，產(chǎn)生告警；否則，不告警定位下個(gè)關(guān)注點(diǎn)執(zhí)行步驟1-5。