[發(fā)明專利]一種大數(shù)據(jù)量的日志分析方法及裝置

在審

• 申請?zhí)枺?/td>: 201810513830.2
• 申請日: 2018-05-25
• 公開（公告）號(hào): CN108737549A
• 公開（公告）日: 2018-11-02
• 發(fā)明（設(shè)計(jì)）人: 殷浩
• 申請（專利權(quán)）人: 江蘇聯(lián)盟信息工程有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/24;G06F17/30;G06F11/34
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

1.一種大數(shù)據(jù)量的日志分析方法，其特征在于，該方法包括以下步驟：

(1)日志收集模塊(1)在預(yù)定的時(shí)間內(nèi)收集程序運(yùn)行日志，并對收集到的程序運(yùn)行日志進(jìn)行壓縮；

(2)日志發(fā)布模塊(3)將所述日志收集模塊壓縮后的程序運(yùn)行日志上傳到分布式文件系統(tǒng)(2)中進(jìn)行存儲(chǔ)；

(3)日志分析模塊(4)對所述程序運(yùn)行日志進(jìn)行切片，構(gòu)成多個(gè)切片任務(wù)，并對各個(gè)切片任務(wù)對應(yīng)的日志文件進(jìn)行分析；

(4)數(shù)據(jù)整理模塊(5)對分析后的各個(gè)切片任務(wù)對應(yīng)的日志文件按請求接口路徑，把數(shù)據(jù)歸類統(tǒng)計(jì)結(jié)果導(dǎo)入到數(shù)據(jù)庫(6)。

2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)量的日志分析方法，其特征在于，所述步驟(1)中預(yù)定的時(shí)間是每天零點(diǎn)左右。

3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)量的日志分析方法，其特征在于，所述步驟(1)中對收集到的程序運(yùn)行日志進(jìn)行壓縮的方法是通過shell指令控制打包和數(shù)據(jù)同步，打包執(zhí)行使用的tar程序，傳輸使用的rsync同步傳輸。

4.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)量的日志分析方法，其特征在于，所述步驟(3)中一個(gè)切片任務(wù)的長度為所述程序運(yùn)行日志中的3萬-5萬行。

5.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)量的日志分析方法，其特征在于，所述步驟(3)中日志分析包括：

提取本次日志分析的開始時(shí)間和結(jié)束時(shí)間，計(jì)算本次日志分析的持續(xù)時(shí)長；API接口使用頻率分析；總異常次數(shù)統(tǒng)計(jì)，每種異常發(fā)生次數(shù)的統(tǒng)計(jì)；統(tǒng)計(jì)各API接口執(zhí)行時(shí)間，計(jì)算各API接口執(zhí)行耗時(shí)；統(tǒng)計(jì)各API接口上傳下載數(shù)據(jù)量，計(jì)算各API接口消耗帶寬情況；統(tǒng)計(jì)文件上傳下載數(shù)據(jù)量，計(jì)算文件上傳下載消耗帶寬情況；統(tǒng)計(jì)IP地址來源，IP請求次數(shù)，IP總數(shù)量。

6.一種大數(shù)據(jù)量的日志分析裝置，其特征在于，所述裝置包括：日志收集模塊(1)、分布式文件系統(tǒng)(2)、日志發(fā)布模塊(3)、日志分析模塊(4)、數(shù)據(jù)整理模塊(5)和數(shù)據(jù)庫(6)；

所述日志收集模塊(1)，用于在預(yù)定的時(shí)間內(nèi)收集程序運(yùn)行日志，并對收集到的日志進(jìn)行壓縮；

所述分布式文件系統(tǒng)(2)，用于接收服務(wù)器解壓后上傳的程序運(yùn)行日志，進(jìn)行質(zhì)量分析；

所述日志發(fā)布模塊(3)，用于將所述日志收集模塊(1)壓縮后的程序運(yùn)行日志上傳到分布式文件系統(tǒng)(2)中進(jìn)行存儲(chǔ)；

所述日志分析模塊(4)，用于對所述程序運(yùn)行日志進(jìn)行切片，構(gòu)成多個(gè)切片任務(wù)，并對各個(gè)切片任務(wù)對應(yīng)的日志文件進(jìn)行分析；

所述數(shù)據(jù)整理模塊(5)對分析后的各個(gè)切片任務(wù)對應(yīng)的日志文件按請求接口路徑，把數(shù)據(jù)歸類統(tǒng)計(jì)，生成數(shù)據(jù)報(bào)告；

所述數(shù)據(jù)庫(6)，用于接收所述數(shù)據(jù)整理模塊統(tǒng)計(jì)的分析結(jié)果。

7.根據(jù)權(quán)利要求6所述的大數(shù)據(jù)量的日志分析裝置，其特征在于，所述預(yù)定的時(shí)間是每天零點(diǎn)左右。

8.根據(jù)權(quán)利要求6所述的大數(shù)據(jù)量的日志分析裝置，其特征在于，所述對收集到的程序運(yùn)行日志進(jìn)行壓縮的方法是通過shell指令控制打包和數(shù)據(jù)同步，打包執(zhí)行使用的tar程序，傳輸使用的rsync同步傳輸。。

9.根據(jù)權(quán)利要求6所述的大數(shù)據(jù)量的日志分析裝置，其特征在于，所述一個(gè)切片任務(wù)的長度為所述程序運(yùn)行日志中的3萬-5萬行。

10.根據(jù)權(quán)利要求6所述的大數(shù)據(jù)量的日志分析裝置，其特征在于，所述日志文件的分析包括：

提取本次日志分析的開始時(shí)間和結(jié)束時(shí)間，計(jì)算本次日志分析的持續(xù)時(shí)長；API接口使用頻率分析；總異常次數(shù)統(tǒng)計(jì)，每種異常發(fā)生次數(shù)的統(tǒng)計(jì)；統(tǒng)計(jì)各API接口執(zhí)行時(shí)間，計(jì)算各API接口執(zhí)行耗時(shí)；統(tǒng)計(jì)各API接口上傳下載數(shù)據(jù)量，計(jì)算各API接口消耗帶寬情況；統(tǒng)計(jì)文件上傳下載數(shù)據(jù)量，計(jì)算文件上傳下載消耗帶寬情況；統(tǒng)計(jì)IP地址來源，IP請求次數(shù)，IP總數(shù)量。