[發(fā)明專利]一種基于分布式日志分析的電力系統(tǒng)運(yùn)行狀態(tài)監(jiān)視方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410681737.4
• 申請(qǐng)日: 2014-11-24
• 公開（公告）號(hào): CN104616205B
• 公開（公告）日: 2019-10-25
• 發(fā)明（設(shè)計(jì)）人: 曹宇;王梓;張巖;孟伶智;郄洪濤;舒力;李華;閻博;王桂茹;張浩
• 申請(qǐng)（專利權(quán)）人: 北京科東電力控制系統(tǒng)有限責(zé)任公司;國(guó)網(wǎng)天津市電力公司;國(guó)網(wǎng)冀北電力有限公司
• 主分類號(hào): G06Q50/06
• 分類號(hào): G06Q50/06;G06F16/27;H02J3/00
• 代理公司: 北京汲智翼成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11381
• 代理人: 陳曦;符浩

1.一種基于分布式日志分析的電力系統(tǒng)運(yùn)行狀態(tài)監(jiān)視方法，其特征在于包括如下步驟：

S1，獲取電力系統(tǒng)的日志信息，并將其合并成日志文件；

S2，將日志文件進(jìn)行分割，對(duì)其進(jìn)行處理得到統(tǒng)一格式的日志信息，使日志文件中的日志信息逐條序列化輸出到分布式存儲(chǔ)系統(tǒng)中；

S3，從分布式存儲(chǔ)系統(tǒng)中提取日志信息，結(jié)合Map-Reduce機(jī)制，采用基于狀態(tài)噪點(diǎn)移除聚類的日志分析算法對(duì)日志信息進(jìn)行分類處理；通過對(duì)分類后的日志信息進(jìn)行分析來監(jiān)視電力系統(tǒng)運(yùn)行狀態(tài)；包括如下步驟：

S31，從分布式存儲(chǔ)系統(tǒng)中提取日志信息，將其根據(jù)抓取日志信息的節(jié)點(diǎn)所在位置，按照系統(tǒng)日志、應(yīng)用程序日志、訪問日志進(jìn)行粗分類，把只包含單一類日志信息的節(jié)點(diǎn)單分一類，再與三類日志信息都包含的節(jié)點(diǎn)取并集；粗分類之后形成不同類別的日志文件，在各類別中構(gòu)建其相似度矩陣，并在分類集中挑選一點(diǎn)作為中心點(diǎn)；

S32，以k最鄰近算法確定日志A和日志B的鄰近點(diǎn)列表，當(dāng)且僅當(dāng)日志A與日志B都在對(duì)方的臨近點(diǎn)列表中時(shí)，兩點(diǎn)間才建立一條鏈接，將相似度矩陣中與某點(diǎn)無鏈接的點(diǎn)所對(duì)應(yīng)的相似度設(shè)為零，實(shí)現(xiàn)相似度矩陣的稀疏化，對(duì)于稀疏后的相似度矩陣，將相似度矩陣中點(diǎn)與點(diǎn)及其權(quán)重邊繪制出來，以構(gòu)建包含全部日志類別的共享最臨近圖；

S33，采用Map機(jī)制，對(duì)于共享最臨近圖中的每個(gè)點(diǎn)，匯總該點(diǎn)距其他點(diǎn)的距離長(zhǎng)度；

S34，采用Reduce機(jī)制，將Map機(jī)制匯總的距離長(zhǎng)度求和，生成新的鍵值對(duì)；

S35，選擇距離長(zhǎng)度和最大的點(diǎn)作為相似度矩陣的中心點(diǎn)，覆蓋原中心點(diǎn)，對(duì)于離距長(zhǎng)度和小于長(zhǎng)度閾值的點(diǎn)，將其標(biāo)記為噪點(diǎn)，不再作為類簇中心點(diǎn)；

S36，在所有點(diǎn)與點(diǎn)的鏈接中，移除權(quán)重比閾值小的鏈接，選取彼此鏈接的點(diǎn)作為一個(gè)類簇，使每一個(gè)類簇代表一個(gè)類別日志信息；

S37，根據(jù)不同類別日志信息采取進(jìn)一步分析，得到反映電力系統(tǒng)運(yùn)行狀態(tài)的信息，通過觀察這些信息的變化實(shí)現(xiàn)對(duì)電網(wǎng)運(yùn)行狀態(tài)的監(jiān)視。

2.根據(jù)權(quán)利要求1所述的電力系統(tǒng)運(yùn)行狀態(tài)監(jiān)視方法，其特征在于：

在步驟S1中，獲取所述日志信息時(shí)采用基于syslog方式的日志掃描抓取方法。

3.根據(jù)權(quán)利要求2所述的電力系統(tǒng)運(yùn)行狀態(tài)監(jiān)視方法，其特征在于所述日志掃描抓取方法包括如下步驟：

S11，將位于電力系統(tǒng)各節(jié)點(diǎn)上的各個(gè)種子模塊抓取的日志信息進(jìn)行選取合并，得到本節(jié)點(diǎn)的各類日志信息；

S12，在電力系統(tǒng)的各個(gè)區(qū)域中，對(duì)各節(jié)點(diǎn)的各類日志信息進(jìn)行抓取合并，得到各區(qū)域的整合數(shù)據(jù)，并發(fā)送到本區(qū)數(shù)據(jù)處理節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行處理，將其存儲(chǔ)到日志文件中；

S13，獲得選取合并的各類日志信息，從抓取日志信息的節(jié)點(diǎn)獲得抓取記錄數(shù)據(jù)，經(jīng)過分析得到日志信息的合并抓取策略，根據(jù)需要對(duì)合并抓取策略進(jìn)行調(diào)整。

4.根據(jù)權(quán)利要求1所述的電力系統(tǒng)運(yùn)行狀態(tài)監(jiān)視方法，其特征在于：

在步驟S31中，所述日志信息類別包括：系統(tǒng)日志、訪問日志和用戶行為日志三類。

5.根據(jù)權(quán)利要求1所述的電力系統(tǒng)運(yùn)行狀態(tài)監(jiān)視方法，其特征在于在步驟S32中，構(gòu)建全部日志類別的共享最臨近圖包括如下步驟：

首先以k最鄰近算法確定日志信息A和B的鄰近點(diǎn)列表，當(dāng)A與B都在對(duì)方的臨近點(diǎn)列表中時(shí)，兩點(diǎn)間建立一條鏈接；然后將相似度矩陣中與某點(diǎn)無鏈接的點(diǎn)所對(duì)應(yīng)的相似度設(shè)為零，實(shí)現(xiàn)相似度矩陣的稀疏化；最后將建立鏈接的兩點(diǎn)及其權(quán)重邊繪制出來，完成構(gòu)建全部日志類別的共享最臨近圖；

兩點(diǎn)之間的鏈接的權(quán)重即兩點(diǎn)的相似度str(i，j)，相似度計(jì)算公式為：str(i,j)＝∑(k+1-m)*(k+1-n)；

其中，k為A與B鄰近點(diǎn)列表的大小，m和n為A與B的臨近區(qū)間在其各自臨近列表中的序號(hào)。

6.根據(jù)權(quán)利要求1所述的電力系統(tǒng)運(yùn)行狀態(tài)監(jiān)視方法，其特征在于還包括如下步驟：

S4，根據(jù)電力系統(tǒng)運(yùn)行狀況，確定需要特別關(guān)注的指標(biāo)及其所屬日志信息類別，通過在相應(yīng)的日志信息類別中單獨(dú)對(duì)所述指標(biāo)進(jìn)行監(jiān)視實(shí)現(xiàn)對(duì)電力系統(tǒng)運(yùn)行狀態(tài)的監(jiān)視。

7.根據(jù)權(quán)利要求6所述的電力系統(tǒng)運(yùn)行狀態(tài)監(jiān)視方法，其特征在于在步驟S4中進(jìn)一步包括如下步驟：

S41，解析日志信息，確定需要特別關(guān)注的指標(biāo)所屬的日志信息類別；

S42，在解析日志結(jié)果中抽取需要特別關(guān)注的關(guān)鍵字，將其拼接為字段名，其value值設(shè)為1；

S43，采用Reduce機(jī)制，在所述日志信息類別中，計(jì)算匯總所述字段名在該類別中出現(xiàn)的次數(shù)，生成并輸出新的鍵值對(duì)；

S44，提取鍵值對(duì)中的信息，對(duì)其進(jìn)行分析，實(shí)現(xiàn)電力系統(tǒng)運(yùn)行狀態(tài)的監(jiān)視。