[發(fā)明專(zhuān)利]一種服務(wù)器日志查詢(xún)提取的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911069704.3
• 申請(qǐng)日: 2019-11-05
• 公開(kāi)（公告）號(hào): CN110781143B
• 公開(kāi)（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 李高超;朱爽
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北緯通信科技南京有限責(zé)任公司
• 主分類(lèi)號(hào): G06F16/14
• 分類(lèi)號(hào): G06F16/14;G06F16/176;G06F11/30
• 代理公司: 北京晟睿智杰知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11603
• 代理人: 于淼

本申請(qǐng)公開(kāi)一種服務(wù)器日志查詢(xún)提取的方法及裝置，該方包括：接收攜帶查詢(xún)關(guān)鍵字信息和查詢(xún)范圍信息的日志查詢(xún)命令信息，轉(zhuǎn)換為日志查詢(xún)指令寫(xiě)入指令集；啟用定時(shí)任務(wù)識(shí)別并執(zhí)行指令集中的日志查詢(xún)指令，生成對(duì)應(yīng)的查詢(xún)?nèi)罩臼占_本；根據(jù)查詢(xún)關(guān)鍵字信息和查詢(xún)范圍信息查詢(xún)并提取服務(wù)器上的目標(biāo)日志；根據(jù)服務(wù)器識(shí)別標(biāo)識(shí)將目標(biāo)日志寫(xiě)入日志接收文件夾中；執(zhí)行完指令集時(shí)，生成查詢(xún)?nèi)罩緦?duì)應(yīng)的完結(jié)標(biāo)識(shí)添加至共享文件夾中；根據(jù)查詢(xún)關(guān)鍵字信息和查詢(xún)范圍信息從各個(gè)日志接收文件夾中獲取目標(biāo)日志，合并得到查詢(xún)?nèi)罩炯１?a href="http://www.szxzyx.cn" title="鉆瓜專(zhuān)利網(wǎng)">發(fā)明極大地節(jié)省了服務(wù)器日志提取所需要的時(shí)間和成本。

技術(shù)領(lǐng)域

本發(fā)明涉及服務(wù)器日志查詢(xún)的技術(shù)領(lǐng)域，更具體地，涉及一種服務(wù)器日志查詢(xún)提取的方法及裝置。

背景技術(shù)

隨著網(wǎng)站、應(yīng)用訪問(wèn)量和使用量的增加，網(wǎng)站或者應(yīng)用自身的許多問(wèn)題和缺陷(俗稱(chēng)bug)都會(huì)暴露出來(lái)，而若不及時(shí)解決這些bug，就會(huì)造成應(yīng)用或者網(wǎng)站的流量流失、評(píng)價(jià)降低。現(xiàn)階段，主要靠運(yùn)維人員查找和解決這些問(wèn)題與缺陷。通過(guò)精確和快速的查找應(yīng)用日志來(lái)幫助開(kāi)發(fā)定位、分析問(wèn)題是運(yùn)維人員的主要工作之一。

但是，隨著業(yè)務(wù)量的增加、功能復(fù)雜性增強(qiáng)，現(xiàn)在大部分公司都采用了服務(wù)器集群，負(fù)載均衡等來(lái)分?jǐn)倖蝹€(gè)服務(wù)器的訪問(wèn)壓力，同一套服務(wù)器的日志可能要分布在幾臺(tái)，甚至幾十臺(tái)的服務(wù)器上。此時(shí)，要通過(guò)運(yùn)維人員手工拉取的方式來(lái)獲取日志，就會(huì)花費(fèi)大量的時(shí)間成本與人力成本。

而通過(guò)腳本采集服務(wù)器日志的方式相對(duì)于上述的人工拉取方式，會(huì)極大地降低時(shí)間成本與人力成本。一般地，日志提取會(huì)在某個(gè)服務(wù)器放置采集日志的腳本，并通過(guò)遠(yuǎn)程登錄的方式登錄其它的服務(wù)器進(jìn)行日志的采集工作。這種方式問(wèn)題在于：安全性不足，實(shí)現(xiàn)起來(lái)有瓶頸：遠(yuǎn)程登錄需要知道登錄密碼，而出于安全性考慮，服務(wù)器的登錄密碼在很多公司都是常變和保密的。運(yùn)行條件苛刻：日志采集工作集中在一臺(tái)服務(wù)器上，對(duì)服務(wù)器的性能有較高的要求。在現(xiàn)有日志分析技術(shù)中，最具有代表性的要屬(Elasticsearch+Logstash+Kibana)ELK日志分析平臺(tái)，是一套開(kāi)源的日志管理方案，Logstash負(fù)責(zé)日志的收集、處理和儲(chǔ)存；Elasticsearch負(fù)責(zé)日志檢索和分析；Kibana負(fù)責(zé)日志的可視化。但是，這個(gè)平臺(tái)存在兩個(gè)客觀缺點(diǎn)：第一：Logstash耗資源較大，運(yùn)行占用較高的CPU和內(nèi)存；第二：Logstash需要存儲(chǔ)經(jīng)過(guò)處理的日志，然后等待日志檢索和分析，存儲(chǔ)本身會(huì)占用服務(wù)器較大內(nèi)存。

因此，提供一種消耗資源少、節(jié)省服務(wù)器日志提取時(shí)間和成本的服務(wù)器日志查詢(xún)提取方案是本領(lǐng)域亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種服務(wù)器日志查詢(xún)提取的方法及裝置，解決了現(xiàn)有技術(shù)中查詢(xún)提取服務(wù)器日志資源消耗多，服務(wù)器日志提取時(shí)間長(zhǎng)和成本高的技術(shù)問(wèn)題。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提出一種服務(wù)器日志查詢(xún)提取的方法，包括：

在服務(wù)器上設(shè)置共享文件夾，在所述共享文件夾上部署日志收集腳本，根據(jù)所述服務(wù)器識(shí)別標(biāo)識(shí)在所述共享文件夾中創(chuàng)建日志接收文件夾；在所述服務(wù)器上添加定時(shí)執(zhí)行日志收集腳本的定時(shí)任務(wù)，在所述服務(wù)器上部署供所述定時(shí)任務(wù)執(zhí)行的指令集；

接收客戶(hù)端輸入的攜帶查詢(xún)關(guān)鍵字信息和查詢(xún)范圍信息的日志查詢(xún)命令信息，將所述日志查詢(xún)命令信息轉(zhuǎn)換為日志查詢(xún)指令寫(xiě)入所述指令集；啟用所述定時(shí)任務(wù)識(shí)別并執(zhí)行所述指令集中的所述日志查詢(xún)指令，生成對(duì)應(yīng)的查詢(xún)?nèi)罩臼占_本；

在所述查詢(xún)?nèi)罩臼占_本未存在進(jìn)程，且所述共享文件夾中無(wú)所述查詢(xún)?nèi)罩緦?duì)應(yīng)的完結(jié)標(biāo)識(shí)時(shí)，根據(jù)所述查詢(xún)關(guān)鍵字信息和查詢(xún)范圍信息查詢(xún)并提取所述服務(wù)器上的目標(biāo)日志；根據(jù)所述服務(wù)器識(shí)別標(biāo)識(shí)將所述目標(biāo)日志寫(xiě)入所述日志接收文件夾中；執(zhí)行完所述指令集時(shí)，生成查詢(xún)?nèi)罩緦?duì)應(yīng)的完結(jié)標(biāo)識(shí)添加至所述共享文件夾中；

根據(jù)所述查詢(xún)關(guān)鍵字信息和查詢(xún)范圍信息從各個(gè)所述日志接收文件夾中獲取所述目標(biāo)日志，合并得到查詢(xún)?nèi)罩炯?/p>