[發(fā)明專(zhuān)利]一種日志處理方法及系統(tǒng)，及一種智能終端

在審

• 申請(qǐng)?zhí)枺?/td>: 201810772572.X
• 申請(qǐng)日: 2018-07-13
• 公開(kāi)（公告）號(hào): CN109063025A
• 公開(kāi)（公告）日: 2018-12-21
• 發(fā)明（設(shè)計(jì)）人: 王春林;葉圣賢;鄧贇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 江蘇滿運(yùn)軟件科技有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;G06F9/455
• 代理公司: 上海碩力知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31251
• 代理人: 郭桂峰

本發(fā)明公開(kāi)了一種日志處理方法及系統(tǒng)，一種智能終端，包括：獲取日志緩存隊(duì)列的狀態(tài)；根據(jù)所述日志緩存隊(duì)列的狀態(tài)判斷是否發(fā)生日志處理堵塞；根據(jù)判斷的結(jié)果動(dòng)態(tài)調(diào)整日志運(yùn)行單元。在本發(fā)明中通過(guò)對(duì)日志處理負(fù)載情況實(shí)時(shí)監(jiān)測(cè)，根據(jù)處理日志狀態(tài)動(dòng)態(tài)的調(diào)整資源服務(wù)器，解決了現(xiàn)有技術(shù)中，系統(tǒng)中資源服務(wù)器高峰和低谷時(shí)的計(jì)算資源數(shù)量相差大的問(wèn)題，合理的提高了資源的有效利用率。

技術(shù)領(lǐng)域

本發(fā)明涉及信息交互領(lǐng)域，特別涉及一種日志處理方法及系統(tǒng)，及一種智能終端。

背景技術(shù)

現(xiàn)有的日志處理技術(shù)中，常規(guī)方案一般包含日志收集、日志計(jì)算(過(guò)濾)、日志存儲(chǔ)三大模塊。其中，日志收集模塊，部署在不斷產(chǎn)生日志的服務(wù)器上，用于從日志文件中實(shí)時(shí)讀取日志，并發(fā)送到緩存隊(duì)列。其中，日志計(jì)算(過(guò)濾)模塊，可單獨(dú)部署或與其他模塊混合部署，用于從緩存隊(duì)列中讀取日志，并且對(duì)每一條日志進(jìn)行分析，丟棄不需要的信息，對(duì)需要的信息進(jìn)行格式化(例如JSON格式)，將格式化之后的日志發(fā)送給日志存儲(chǔ)模塊。其中，日志存儲(chǔ)模塊，可單獨(dú)部署或與其他模塊混合部署，用于接收日志計(jì)算模塊發(fā)送過(guò)來(lái)的經(jīng)過(guò)格式化的日志，按指定的字段對(duì)每一條日志生成索引，并存儲(chǔ)日志及其索引，以便后續(xù)對(duì)日志進(jìn)行檢索。

基于以上的處理方式，在大規(guī)模日志處理中，每天都有業(yè)務(wù)高峰期和低谷期，對(duì)應(yīng)的日志量存在較大差距，需要的處理能力也不一樣。現(xiàn)有日志處理技術(shù)一般采用固定數(shù)量和固定計(jì)算能力的服務(wù)器來(lái)處理日志，容易出現(xiàn)如下問(wèn)題：

在業(yè)務(wù)低谷期服務(wù)器處理能力富余，資源浪費(fèi)現(xiàn)象嚴(yán)重，在業(yè)務(wù)高峰期服務(wù)器處理能力不足，造成日志處理不夠及時(shí)甚至日志丟失的現(xiàn)象，不能合理分配資源。

基于以上存在技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┝私鉀Q以上技術(shù)問(wèn)題的技術(shù)方案。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種日志處理方法及系統(tǒng)，及一種智能終端，通過(guò)對(duì)日志處理負(fù)載情況實(shí)時(shí)監(jiān)測(cè)實(shí)現(xiàn)動(dòng)態(tài)的調(diào)整資源服務(wù)器，解決了現(xiàn)有技術(shù)中，系統(tǒng)中資源服務(wù)器高峰和低谷時(shí)的計(jì)算資源數(shù)量相差大的問(wèn)題，合理的提高了資源的有效利用率。

本發(fā)明提供的技術(shù)方案如下：

一種日志處理方法，包括：獲取日志緩存隊(duì)列的狀態(tài)；根據(jù)所述日志緩存隊(duì)列的狀態(tài)判斷是否發(fā)生日志處理堵塞；根據(jù)判斷的結(jié)果動(dòng)態(tài)調(diào)整日志運(yùn)行單元。

進(jìn)一步優(yōu)選的，包括：當(dāng)根據(jù)對(duì)日志緩存隊(duì)列判斷的結(jié)果為堵塞狀態(tài)時(shí)，增加日志運(yùn)行單元。

進(jìn)一步優(yōu)選的，包括：在所述日志緩存隊(duì)列中獲取緩存隊(duì)列中未處理的日志數(shù)量；測(cè)試每個(gè)日志運(yùn)行單元處理日志的速度；并通過(guò)守護(hù)進(jìn)程獲取當(dāng)前正在運(yùn)行的日志運(yùn)行單元的數(shù)量；根據(jù)所述日志緩存隊(duì)列中獲取緩存隊(duì)列中未處理的日志數(shù)量、每個(gè)日志運(yùn)行單元處理日志的速度、當(dāng)前正在運(yùn)行的日志運(yùn)行單元的數(shù)量以及系統(tǒng)中處理日志的預(yù)設(shè)延遲時(shí)間，計(jì)算出需要增加的日志運(yùn)行單元的數(shù)量。

進(jìn)一步優(yōu)選的，包括：當(dāng)根據(jù)對(duì)日志緩存隊(duì)列判斷的結(jié)果為空閑狀態(tài)時(shí)，優(yōu)化掉日志運(yùn)行單元。

進(jìn)一步優(yōu)選的，包括：獲取正在運(yùn)行的每個(gè)日志運(yùn)行單元的負(fù)載率；根據(jù)正在運(yùn)行的每個(gè)日志運(yùn)行單元的負(fù)載率，計(jì)算當(dāng)前系統(tǒng)中正在運(yùn)行的所有日志運(yùn)行單元的第二負(fù)載率；當(dāng)所述第二負(fù)載率不大于預(yù)設(shè)負(fù)載率時(shí)，優(yōu)化掉正在運(yùn)行的多余的日志運(yùn)行單元。

一種日志處理系統(tǒng)，可執(zhí)行上述所述的日志處理方法，包括：隊(duì)列狀態(tài)獲取模塊，獲取日志緩存隊(duì)列的狀態(tài)；隊(duì)列狀態(tài)判斷模塊，與所述隊(duì)列狀態(tài)獲取模塊通信連接，根據(jù)所述日志緩存隊(duì)列的狀態(tài)判斷是否發(fā)生日志處理堵塞；日志單元調(diào)整模塊，與所述隊(duì)列狀態(tài)判斷模塊通信連接，根據(jù)判斷的結(jié)果動(dòng)態(tài)調(diào)整日志運(yùn)行單元。