[發明專利]基于Storm的日志處理方法及裝置在審
| 申請號： | 201710527471.1 | 申請日： | 2017-06-30 |
| 公開（公告）號： | CN107391606A | 公開（公告）日： | 2017-11-24 |
| 發明（設計）人： | 王曉峰;張偉;牛軍;楊大龍;丁厚東 | 申請（專利權）人： | 中國聯合網絡通信集團有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30;G06F11/30 |
| 代理公司： | 北京同立鈞成知識產權代理有限公司11205 | 代理人： | 宋揚,劉芳 |
| 地址： | 100033 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 storm 日志 處理 方法 裝置 | ||
1.一種基于Storm的日志處理方法，其特征在于，包括：
接收rsyslog客戶端采集到的日志數據；
將所述日志數據存儲到kafka集群中；
基于Storm對所述日志數據進行處理，得到處理后的日志數據；
將處理后的日志數據存儲到Mysql中，將源日志數據存儲到HBase中。
2.根據權利要求1所述的方法，其特征在于，還包括：
接收查詢請求，所述查詢請求用于查詢所述日志數據；
根據所述查詢請求，查詢并顯示所述日志數據。
3.根據權利要求2所述的方法，其特征在于，所述基于Storm對所述日志數據進行處理，包括：
基于Storm對所述日志數據進行格轉和過濾。
4.根據權利要求2所述的方法，其特征在于，所述基于Storm對所述日志數據進行處理，包括：
基于Storm對所述日志數據進行清洗、格轉、分析、統計。
5.根據權利要求1-4任一項所述的方法，其特征在于，所述日志數據包括如下至少一種：
業務日志、用戶行為日志、資源運行日志。
6.一種基于Storm的日志處理裝置，其特征在于，包括：
接收模塊，用于接收rsyslog客戶端采集到的日志數據；
存儲模塊，用于將所述日志數據存儲到kafka集群中；
處理模塊，用于基于Storm對所述日志數據進行處理，得到處理后的日志數據；
所述存儲模塊還用于將處理后的日志數據存儲到Mysql中，將源日志數據存儲到HBase中。
7.根據權利要求6所述的基于Storm的日志處理裝置，其特征在于，所述接收模塊還用于：接收查詢請求，所述查詢請求用于查詢所述日志數據；
所述基于Storm的日志處理裝置還包括：
查詢模塊，用于根據所述查詢請求，查詢所述日志數據；
顯示模塊，用于顯示所述日志數據。
8.根據權利要求7所述的基于Storm的日志處理裝置，其特征在于，所述處理模塊具體用于基于Storm對所述日志數據進行格轉和過濾。
9.根據權利要求7所述的基于Storm的日志處理裝置，其特征在于，所述處理模塊具體用于基于Storm對所述日志數據進行清洗、格轉、分析、統計。
10.根據權利要求6-9任一項所述的基于Storm的日志處理裝置，其特征在于，所述日志數據包括如下至少一種：
業務日志、用戶行為日志、資源運行日志。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國聯合網絡通信集團有限公司，未經中國聯合網絡通信集團有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710527471.1/1.html，轉載請聲明來源鉆瓜專利網。
