[發(fā)明專利]日志服務(wù)器及其管理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710049977.6
• 申請(qǐng)日: 2017-01-23
• 公開(kāi)（公告）號(hào): CN106874160B
• 公開(kāi)（公告）日: 2021-10-01
• 發(fā)明（設(shè)計(jì)）人: 接鳳華
• 申請(qǐng)（專利權(quán)）人: 深圳市元宇宙科技有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F16/18;G06F16/172;G06F16/17
• 代理公司: 深圳市恒程創(chuàng)新知識(shí)產(chǎn)權(quán)代理有限公司 44542
• 代理人: 趙愛(ài)蓉

本發(fā)明涉及日志管理服務(wù)領(lǐng)域，尤其涉及一種日志服務(wù)器及其管理方法。本發(fā)明日志服務(wù)器包括消息訂閱發(fā)布模塊和轉(zhuǎn)換系統(tǒng)，所述消息訂閱發(fā)布模塊接收、存儲(chǔ)、管理來(lái)自應(yīng)用服務(wù)器的第一日志文件，所述轉(zhuǎn)換系統(tǒng)將存儲(chǔ)在所述消息訂閱發(fā)布模塊中的第一日志文件轉(zhuǎn)換為第二日志文件；所述消息訂閱發(fā)布模塊包括與所述應(yīng)用服務(wù)器一一對(duì)應(yīng)的會(huì)話隊(duì)列；所述會(huì)話隊(duì)列包括與其對(duì)應(yīng)的應(yīng)用服務(wù)器的第一日志文件一一對(duì)應(yīng)的會(huì)話區(qū)。其設(shè)計(jì)為一個(gè)分布式系統(tǒng)，易于向外擴(kuò)展；它同時(shí)為發(fā)布和訂閱提供高吞吐量；它支持多訂閱者，當(dāng)失敗時(shí)能自動(dòng)平衡消費(fèi)者；它將消息持久化到磁盤(pán)，因此可用于批量消費(fèi)，例如ETL，以及實(shí)時(shí)應(yīng)用程序。

技術(shù)領(lǐng)域

本發(fā)明涉及日志管理服務(wù)技術(shù)領(lǐng)域，尤其涉及一種日志服務(wù)器及其管理方法。

背景技術(shù)

在通信和計(jì)算機(jī)信息處理相關(guān)產(chǎn)品中，系統(tǒng)運(yùn)行過(guò)程中記錄的日志對(duì)于用戶系統(tǒng)故障、及早發(fā)現(xiàn)警告和跟蹤關(guān)鍵操作有著重要作用。現(xiàn)有技術(shù)中基于activeMQ實(shí)現(xiàn)的日志管理系統(tǒng)是基于JMS(Java Message Service)實(shí)現(xiàn)的。通過(guò)Log4j控制日志信息輸送的目的地、每一條日志的輸出格式等對(duì)日志的生成過(guò)程進(jìn)行控制，進(jìn)一步的將服務(wù)器的日志信息寫(xiě)入隊(duì)列。日志管理系統(tǒng)可能對(duì)應(yīng)管理多個(gè)應(yīng)用服務(wù)器產(chǎn)生的日志消息，例如：Web服務(wù)器有兩臺(tái)，每臺(tái)服務(wù)器上分別有4個(gè)tomcat，通過(guò)Log4j輸出到tomcat下。當(dāng)輸出至tomcat的日志過(guò)大(超過(guò)2g)時(shí)就會(huì)影響到tomcat的正常運(yùn)行，也不利于開(kāi)發(fā)人員查看日志，分析問(wèn)題。傳統(tǒng)的消息系統(tǒng)具有下述缺陷：

1.日志文件在被消費(fèi)以后立即被刪除，需要頻繁的對(duì)磁盤(pán)進(jìn)行操作，增加了磁盤(pán)的IO開(kāi)銷；

2.無(wú)法將消息持久化到磁盤(pán)；

3.集中式的日志處理系統(tǒng)，不易于向外擴(kuò)展；

4.不支持多訂閱者，當(dāng)消費(fèi)失敗時(shí)無(wú)法自動(dòng)平衡消費(fèi)者；

5.JMS系統(tǒng)所需的消息頭較大，再加上維護(hù)各種索引結(jié)構(gòu)的開(kāi)銷，導(dǎo)致ActiveMQ的每條消息有144個(gè)字節(jié)。導(dǎo)致ActiveMQ一個(gè)最忙的線程大部分時(shí)間都在存取B-Tree以維護(hù)消息元數(shù)據(jù)和狀態(tài)。

6.當(dāng)客戶端多個(gè)端口同時(shí)訪問(wèn)一個(gè)端口時(shí)會(huì)有并發(fā)的沖突產(chǎn)生。

授權(quán)公告號(hào)CN 102158349 B，授權(quán)公告日2016年3月30日的發(fā)明專利公開(kāi)了一種日志管理裝置及方法。該裝置包括日志記錄模塊，用于將日志原文，根據(jù)轉(zhuǎn)換規(guī)則轉(zhuǎn)換為日志記錄，調(diào)用日志管理模塊；根據(jù)日志管理模塊湖區(qū)的日志記錄寫(xiě)入地址，將日志記錄寫(xiě)入存儲(chǔ)介質(zhì)；日志管理模塊，用于根據(jù)存儲(chǔ)介質(zhì)保存的日志全局信息以及日志記錄的地址范圍，獲取日志記錄寫(xiě)入地址，返回給日志記錄模塊。同時(shí)還公開(kāi)了一種日志管理的方法，采用該發(fā)明所述的裝置及方法，能夠提高存儲(chǔ)介質(zhì)保存日志的容量，以及讀寫(xiě)日志的處理速度，且避免重要日志丟失。但是，其無(wú)法實(shí)現(xiàn)分布式的處理系統(tǒng)，擴(kuò)展性不高。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)存在的上述問(wèn)題，本發(fā)明公開(kāi)了一種日志服務(wù)器及其管理方法。

本發(fā)明采取如下技術(shù)方案：

一種日志服務(wù)器，包括消息訂閱發(fā)布模塊和轉(zhuǎn)換系統(tǒng)，所述消息訂閱發(fā)布模塊接收、存儲(chǔ)、管理來(lái)自應(yīng)用服務(wù)器的第一日志文件，所述轉(zhuǎn)換系統(tǒng)將存儲(chǔ)在所述消息訂閱發(fā)布模塊中的第一日志文件轉(zhuǎn)換為第二日志文件；所述消息訂閱發(fā)布模塊包括與所述應(yīng)用服務(wù)器一一對(duì)應(yīng)的會(huì)話隊(duì)列；所述會(huì)話隊(duì)列包括與其對(duì)應(yīng)的應(yīng)用服務(wù)器的第一日志文件一一對(duì)應(yīng)的會(huì)話區(qū)。

作為優(yōu)選，所述會(huì)話區(qū)包括用于存儲(chǔ)所述第一日志文件的第一存儲(chǔ)單元以及用于存儲(chǔ)所述第一存儲(chǔ)單元的索引文件的第二存儲(chǔ)單元，所述第一日志文件順序存儲(chǔ)在所述第一存儲(chǔ)單元中，所述索引文件用于索引存儲(chǔ)在所述第一存儲(chǔ)單元中的第一日志文件數(shù)據(jù)。

作為優(yōu)選，所述轉(zhuǎn)換系統(tǒng)包括多個(gè)數(shù)據(jù)轉(zhuǎn)換單元，所述日志數(shù)據(jù)轉(zhuǎn)換單元從所述消息訂閱發(fā)布模塊獲取的二進(jìn)制的所述第一日志文件轉(zhuǎn)換為文本形式的第二日志文件并輸出至目標(biāo)目錄。