[發明專利]日志解析方法、設備及計算機可讀介質在審
| 申請號: | 201810024935.1 | 申請日: | 2018-01-10 |
| 公開(公告)號: | CN108365971A | 公開(公告)日: | 2018-08-03 |
| 發明(設計)人: | 楊儀軍 | 申請(專利權)人: | 深圳市金立通信設備有限公司 |
| 主分類號: | H04L12/24 | 分類號: | H04L12/24;H04L29/08 |
| 代理公司: | 廣州三環專利商標代理有限公司 44202 | 代理人: | 郝傳鑫;熊永強 |
| 地址: | 518040 廣東省深圳市福田*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 日志解析 日志數據 計算機可讀介質 日志處理請求 目標日志 集群 服務器發送 業務服務器 接收應用 結果分析 數據傳輸 數據同步 網絡開銷 行業發展 用戶分布 數據處理 大數據 廣告商 時效性 磁盤 離線 流式 日志 解析 耗時 寫入 分區 熱門 攜帶 廣告 | ||
1.一種日志解析方法,其特征在于,包括:
接收應用服務器發送的日志處理請求,所述日志處理請求攜帶初始日志數據以及與所述初始日志數據對應的目標集群主題;
對所述初始日志數據進行流式數據處理,獲得目標日志數據;
將所述目標日志數據寫入所述目標集群主題下的分區。
2.根據權利要求1所述的方法,其特征在于,所述對所述初始日志數據進行流式數據處理,包括:
通過實時流處理方法對所述初始日志數據進行數據清洗。
3.根據權利要求2所述的方法,其特征在于,所述將所述目標日志數據寫入所述目標集群主題下的分區,包括:
通過基于負載均衡的方法將所述目標日志數據寫入包含所述目標集群主題的至少兩個集群節點中所述目標集群主題下的分區。
4.根據權利要求2所述的方法,其特征在于,所述日志處理請求還攜帶分區關鍵字,
所述將所述目標日志數據寫入所述目標集群主題下的分區包括:
解析所述分區關鍵字,獲取所述分區關鍵字中的分區標識,將所述目標日志數據寫入包含所述目標集群主題的至少兩個集群節點中所述目標集群主題下所述分區標識對應的分區。
5.一種日志解析方法,其特征在于,包括:
通過代理服務器轉發的客戶端到服務器端的請求消息獲得初始日志數據;
確定所述初始日志數據對應的目標集群主題;
向集群服務器發送日志處理請求,所述日志處理請求攜帶所述初始日志數據以及與所述初始日志數據對應的目標集群主題。
6.根據權利要求5所述的方法,其特征在于,所述日志處理請求還攜帶分區關鍵字,所述分區關鍵字用于所述集群服務器進行解析以得到分區標識,所述分區標識用于指示目標日志數據寫入的分區,所述目標日志數據為所述集群服務器對所述初始日志數據進行流式數據處理后得到的日志數據。
7.根據權利要求6所述的方法,其特征在于,所述確定所述初始日志數據對應的目標集群主題包括:
根據日志數據類型與集群主題的對應關系確定所述初始日志數據對應的目標集群主題。
8.一種集群服務器,其特征在于,包括用于執行如權利要求1-4任一權利要求所述的方法的單元。
9.一種應用服務器,其特征在于,包括用于執行如權利要求5-7任一權利要求所述的方法的單元。
10.一種集群服務器,其特征在于,包括處理器、輸入設備、輸出設備和存儲器,所述處理器、輸入設備、輸出設備和存儲器相互連接,其中,所述存儲器用于存儲計算機程序,所述計算機程序包括程序指令,所述處理器被配置用于調用所述程序指令,執行如權利要求1-4任一項所述的方法。
11.一種應用服務器,其特征在于,包括處理器、輸入設備、輸出設備和存儲器,所述處理器、輸入設備、輸出設備和存儲器相互連接,其中,所述存儲器用于存儲計算機程序,所述計算機程序包括程序指令,所述處理器被配置用于調用所述程序指令,執行如權利要求5-7任一項所述的方法。
12.一種計算機可讀存儲介質,其特征在于,所述計算機存儲介質存儲有計算機程序,所述計算機程序包括程序指令,所述程序指令當被處理器執行時使所述處理器執行如權利要求1-4任一項所述的方法。
13.一種計算機可讀存儲介質,其特征在于,所述計算機存儲介質存儲有計算機程序,所述計算機程序包括程序指令,所述程序指令當被處理器執行時使所述處理器執行如權利要求5-7任一項所述的方法。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于深圳市金立通信設備有限公司,未經深圳市金立通信設備有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201810024935.1/1.html,轉載請聲明來源鉆瓜專利網。





