[發(fā)明專利]一種大數(shù)據(jù)量的日志分析方法及裝置在審
| 申請?zhí)枺?/td> | 201810513830.2 | 申請日： | 2018-05-25 |
| 公開（公告）號： | CN108737549A | 公開（公告）日： | 2018-11-02 |
| 發(fā)明（設計）人： | 殷浩 | 申請（專利權(quán)）人： | 江蘇聯(lián)盟信息工程有限公司 |
| 主分類號： | H04L29/08 | 分類號： | H04L29/08;H04L12/24;G06F17/30;G06F11/34 |
| 代理公司： | 南京蘇高專利商標事務所(普通合伙) 32204 | 代理人： | 柏尚春 |
| 地址： | 212001 江蘇省鎮(zhèn)*** | 國省代碼： | 江蘇;32 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 日志 切片 程序運行 分布式文件系統(tǒng) 日志收集模塊 大數(shù)據(jù)量 日志分析 日志文件 大規(guī)模數(shù)據(jù)處理 日志分析模塊 數(shù)據(jù)整理模塊 存放管理 接口路徑 日志存儲 日志發(fā)布 數(shù)據(jù)分析 數(shù)據(jù)歸類 統(tǒng)計結(jié)果 硬件資源 壓縮 分析 歸類 數(shù)據(jù)庫 存儲 保證 | ||
本發(fā)明公開了一種大數(shù)據(jù)量的日志分析方法，該方法包括以下步驟：日志收集模塊在預定的時間內(nèi)收集程序運行日志，并對收集到的程序運行日志進行壓縮；日志發(fā)布模塊將日志收集模塊壓縮后的程序運行日志上傳到分布式文件系統(tǒng)中進行存儲；日志分析模塊對程序運行日志進行切片，構(gòu)成多個切片任務，并對各個切片任務對應的日志文件進行分析；數(shù)據(jù)整理模塊對分析后的各個切片任務對應的日志文件按請求接口路徑，把數(shù)據(jù)歸類統(tǒng)計結(jié)果導入到數(shù)據(jù)庫。本發(fā)明通過將日志存儲在分布式文件系統(tǒng)，解決各個分散日志的集中存放管理，并對日志進行切片后在大規(guī)模數(shù)據(jù)處理系統(tǒng)中對日志進行分析和歸類，既方便數(shù)據(jù)分析，又節(jié)省硬件資源使用，保證有用信息的不丟失。
技術(shù)領域
本發(fā)明涉及一種日志分析方法和裝置，具體涉及一種大數(shù)據(jù)量的日志分析方法及裝置。
背景技術(shù)
大數(shù)據(jù)技術(shù)近些年飛速發(fā)展，隨著組織網(wǎng)絡環(huán)境的日益復雜、信息安全的要求日益加劇，互聯(lián)網(wǎng)網(wǎng)站在運營過程中的原始記錄日志，在項目開發(fā)中，運行程序產(chǎn)生的大量運行日志，這些日志對解決網(wǎng)站或者程序開發(fā)的問題起著至關重要的作用，但往往這些日志會比較分散，查看分析很不方便，并且日志每日增加，體積增長非常快，總體積日積月累非常大，占用過多硬件資源，問題發(fā)現(xiàn)有滯后，不能第一時間收到報警信息通知。
發(fā)明內(nèi)容
發(fā)明目的：為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種大數(shù)據(jù)量的日志分析方法及裝置，解決了日志分散、分析困難以及占用過多硬件資源的問題。
技術(shù)方案：一方面，本發(fā)明提供了針對大數(shù)據(jù)量的日志分析方法，該方法包括以下步驟：
(1)日志收集模塊在預定的時間內(nèi)收集程序運行日志，并對收集到的程序運行日志進行壓縮；
(2)日志發(fā)布模塊將所述日志收集模塊壓縮后的程序運行日志上傳到分布式文件系統(tǒng)中進行存儲；
(3)日志分析模塊對所述程序運行日志進行切片，構(gòu)成多個切片任務，并對各個切片任務對應的日志文件進行分析；
(4)數(shù)據(jù)整理模塊對分析后的各個切片任務對應的日志文件按請求接口路徑，把數(shù)據(jù)歸類統(tǒng)計結(jié)果導入到數(shù)據(jù)庫。
優(yōu)選的，所述步驟(1)中預定的時間是每天零點左右。
優(yōu)選的，所述步驟(1)中對收集到的程序運行日志進行壓縮的方法是通過shell指令控制打包和數(shù)據(jù)同步，打包執(zhí)行使用的tar程序，傳輸使用的rsync同步傳輸。
優(yōu)選的，所述步驟(3)中一個切片任務的長度為所述程序運行日志中的3萬-5萬行。
優(yōu)選的，所述步驟(3)中日志分析包括：
提取本次日志分析的開始時間和結(jié)束時間，計算本次日志分析的持續(xù)時長；API接口使用頻率分析；總異常次數(shù)統(tǒng)計，每種異常發(fā)生次數(shù)的統(tǒng)計；統(tǒng)計各API接口執(zhí)行時間，計算各API接口執(zhí)行耗時；統(tǒng)計各API接口上傳下載數(shù)據(jù)量，計算各API接口消耗帶寬情況；統(tǒng)計文件上傳下載數(shù)據(jù)量，計算文件上傳下載消耗帶寬情況；統(tǒng)計IP地址來源，IP請求次數(shù)，IP總數(shù)量。
另一方面，本發(fā)明還提供了針對大數(shù)據(jù)量日志的分析裝置，所述裝置包括：日志收集模塊、分布式文件系統(tǒng)、日志發(fā)布模塊、數(shù)據(jù)整理模塊和數(shù)據(jù)庫；
所述日志收集模塊，用于在預定的時間內(nèi)收集程序運行日志，并對收集到的日志進行壓縮；
所述分布式文件系統(tǒng)，用于接收服務器解壓后上傳的程序運行日志，進行質(zhì)量分析；
所述日志發(fā)布模塊，用于將所述日志收集模塊壓縮后的程序運行日志上傳到分布式文件系統(tǒng)中進行存儲；
所述日志分析模塊，用于對所述程序運行日志進行切片，構(gòu)成多個切片任務，并對各個切片任務對應的日志文件進行分析；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于江蘇聯(lián)盟信息工程有限公司，未經(jīng)江蘇聯(lián)盟信息工程有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810513830.2/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 分布式文件系統(tǒng)及其數(shù)據(jù)處理方法和裝置
- 一種IO模式識別方法、系統(tǒng)、設備及計算機存儲介質(zhì)
- 文件系統(tǒng)啟動方法及裝置
- 網(wǎng)絡文件系統(tǒng)替換方法、集群配置文件共享方法及裝置
- 多分布式文件系統(tǒng)中處理配置文件的方法及裝置
- 用于大數(shù)據(jù)分析的分布式文件系統(tǒng)中的多租戶數(shù)據(jù)服務
- 一種圖片存儲方法、圖片查詢方法及裝置
- 一種高效的并行分布式文件系統(tǒng)并行復制方法
- 分布式文件系統(tǒng)配置方法及裝置
- 一種分布式文件系統(tǒng)遠程復制方法、裝置、設備和介質(zhì)
