[發(fā)明專利]異常日志檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110251137.4
• 申請(qǐng)日: 2021-03-08
• 公開（公告）號(hào): CN115048345A
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 田國(guó)良;蔣強(qiáng);邵森;單浩
• 申請(qǐng)（專利權(quán)）人: 中國(guó)移動(dòng)通信集團(tuán)江蘇有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06F16/17
• 分類號(hào): G06F16/17;G06F16/35;G06F40/289
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 程琛

1.一種異常日志檢測(cè)方法，其特征在于，包括：

確定待檢測(cè)日志的日志特征；

基于異常檢測(cè)模型，對(duì)所述日志特征進(jìn)行多種不同算法下的異常檢測(cè)，并對(duì)多種不同算法下的檢測(cè)結(jié)果進(jìn)行加權(quán)融合，得到異常檢測(cè)結(jié)果，所述加權(quán)融合的權(quán)重是基于所述待檢測(cè)日志中包含領(lǐng)域關(guān)鍵詞的數(shù)量確定的；

所述異常檢測(cè)模型是基于樣本日志的日志特征及其異常標(biāo)簽訓(xùn)練得到的。

2.根據(jù)權(quán)利要求1所述的異常日志檢測(cè)方法，其特征在于，所述加權(quán)融合的權(quán)重是基于如下步驟確定的：

基于所述樣本日志中包含的日志分詞的總數(shù)、預(yù)先設(shè)定的領(lǐng)域關(guān)鍵詞的總數(shù)，以及所述待檢測(cè)日志中包含領(lǐng)域關(guān)鍵詞的數(shù)量，確定各算法的算法權(quán)重；

基于各算法的算法權(quán)重，以及各算法下進(jìn)行異常檢測(cè)的準(zhǔn)確率，確定所述加權(quán)融合的權(quán)重。

3.根據(jù)權(quán)利要求2所述的異常日志檢測(cè)方法，其特征在于，所述多種不同算法包括邏輯回歸算法和catboost算法；

所述基于所述樣本日志中包含的日志分詞的總數(shù)、預(yù)先設(shè)定的領(lǐng)域關(guān)鍵詞的總數(shù)，以及所述待檢測(cè)日志中包含領(lǐng)域關(guān)鍵詞的數(shù)量，確定各算法的算法權(quán)重，包括：

基于如下公式確定各算法的算法權(quán)重：

式中，μ_邏輯回歸和μ_catboost分別為邏輯回歸算法和catboost算法的算法權(quán)重，N＝n+k，n為所述樣本日志中包含的日志分詞的總數(shù)，k為預(yù)先設(shè)定的領(lǐng)域關(guān)鍵詞的總數(shù)，p為所述待檢測(cè)日志中包含領(lǐng)域關(guān)鍵詞的數(shù)量。

4.根據(jù)權(quán)利要求1所述的異常日志檢測(cè)方法，其特征在于，所述異常標(biāo)簽是基于如下步驟確定的：

確定各樣本日志的日志特征；

對(duì)各樣本日志的日志特征進(jìn)行聚類，得到多個(gè)日志簇；

獲取各日志簇的人工標(biāo)簽，將人工標(biāo)簽作為對(duì)應(yīng)日志簇內(nèi)各日志特征對(duì)應(yīng)樣本日志的異常標(biāo)簽。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的異常日志檢測(cè)方法，其特征在于，所述確定待檢測(cè)日志的日志特征，包括：

對(duì)所述待檢測(cè)日志進(jìn)行文本分詞，得到所述待檢測(cè)日志的各分詞；

對(duì)所述待檢測(cè)日志的各分詞進(jìn)行領(lǐng)域關(guān)鍵詞匹配，基于匹配結(jié)果確定關(guān)鍵詞向量；

基于所述待檢測(cè)日志的各分詞的詞向量，以及所述關(guān)鍵詞向量，構(gòu)建所述待檢測(cè)日志的日志特征。

6.根據(jù)權(quán)利要求5所述的異常日志檢測(cè)方法，其特征在于，所述各分詞的詞向量是基于詞頻和逆文本頻率指數(shù)確定的。

7.根據(jù)權(quán)利要求5所述的異常日志檢測(cè)方法，其特征在于，所述對(duì)所述待檢測(cè)日志進(jìn)行文本分詞，之前還包括：

對(duì)所述待檢測(cè)日志進(jìn)行去異常符號(hào)和中文信息提取；

基于去異常符號(hào)后的日志文本和提取所得的中文信息，重構(gòu)所述待檢測(cè)日志。

8.一種異常日志檢測(cè)裝置，其特征在于，包括：

特征提取單元，用于確定待檢測(cè)日志的日志特征；

異常檢測(cè)單元，用于基于異常檢測(cè)模型，對(duì)所述日志特征進(jìn)行多種不同算法下的異常檢測(cè)，并對(duì)多種不同算法下的檢測(cè)結(jié)果進(jìn)行加權(quán)融合，得到異常檢測(cè)結(jié)果，所述加權(quán)融合的權(quán)重是基于所述待檢測(cè)日志中包含領(lǐng)域關(guān)鍵詞的數(shù)量確定的；

所述異常檢測(cè)模型是基于樣本日志的日志特征及其異常標(biāo)簽訓(xùn)練得到的。

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述異常日志檢測(cè)方法的步驟。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述異常日志檢測(cè)方法的步驟。