[發(fā)明專利]日志數(shù)據(jù)的存儲(chǔ)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202211244883.1
• 申請(qǐng)日: 2022-10-12
• 公開（公告）號(hào): CN115543939A
• 公開（公告）日: 2022-12-30
• 發(fā)明（設(shè)計(jì)）人: 華軍
• 申請(qǐng)（專利權(quán)）人: 平安銀行股份有限公司
• 主分類號(hào): G06F16/172
• 分類號(hào): G06F16/172;G06F16/18;G06F9/54
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 呂愛霞

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，提供一種日志數(shù)據(jù)的存儲(chǔ)方法及裝置。所述方法包括：根據(jù)第一處理線程，從日志隊(duì)列中依次獲取各日志數(shù)據(jù)，并在每次獲取到所述日志數(shù)據(jù)后，將所述日志數(shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)的ES對(duì)象寫入第一目標(biāo)隊(duì)列中；確定所述第一目標(biāo)隊(duì)列中的各所述ES對(duì)象的數(shù)量滿足預(yù)設(shè)數(shù)量，根據(jù)第二處理線程，將所述第一目標(biāo)隊(duì)列中的各所述ES對(duì)象異步批量存儲(chǔ)至ES服務(wù)器。本申請(qǐng)實(shí)施例提供的日志數(shù)據(jù)的存儲(chǔ)方法能夠提高日志數(shù)據(jù)的存儲(chǔ)效率及存儲(chǔ)量。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種日志數(shù)據(jù)的存儲(chǔ)方法及裝置。

背景技術(shù)

目前，日志數(shù)據(jù)的存儲(chǔ)通常是通過log4j等工具包來進(jìn)行記錄，然后將每條日志數(shù)據(jù)實(shí)時(shí)存儲(chǔ)在本地服務(wù)器的日志文件里。而這種存儲(chǔ)方式，由于每獲取一條日志數(shù)據(jù)便需要與本地服務(wù)器進(jìn)行交互，交互頻率高，導(dǎo)致接口返回的耗時(shí)較高，影響日志數(shù)據(jù)的存儲(chǔ)效率。且本地服務(wù)器存儲(chǔ)的日志數(shù)據(jù)過多還需要進(jìn)行清理，這使得部分日志數(shù)據(jù)可能無法被查詢。

發(fā)明內(nèi)容

本申請(qǐng)旨在至少解決相關(guān)技術(shù)中存在的技術(shù)問題之一。為此，本申請(qǐng)?zhí)岢鲆环N日志數(shù)據(jù)的存儲(chǔ)方法，能夠提高日志數(shù)據(jù)的存儲(chǔ)效率及存儲(chǔ)量。

本申請(qǐng)還提出一種日志數(shù)據(jù)的存儲(chǔ)裝置。

本申請(qǐng)還提出一種電子設(shè)備。

本申請(qǐng)還提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

根據(jù)本申請(qǐng)第一方面實(shí)施例的日志數(shù)據(jù)的存儲(chǔ)方法，包括：

根據(jù)第一處理線程，從日志隊(duì)列中依次獲取各日志數(shù)據(jù)，并在每次獲取到所述日志數(shù)據(jù)后，將所述日志數(shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)的ES對(duì)象寫入第一目標(biāo)隊(duì)列中；

確定所述第一目標(biāo)隊(duì)列中的各所述ES對(duì)象的數(shù)量滿足預(yù)設(shè)數(shù)量，根據(jù)第二處理線程，將所述第一目標(biāo)隊(duì)列中的各所述ES對(duì)象異步批量存儲(chǔ)至ES服務(wù)器。

本申請(qǐng)實(shí)施例提供的日志數(shù)據(jù)的存儲(chǔ)方法，通過第一處理線程，將日志數(shù)據(jù)轉(zhuǎn)換為ES對(duì)象，并通過第二處理線程將ES對(duì)象存儲(chǔ)至ES服務(wù)器，以利用ES服務(wù)器可以建立部署擴(kuò)展服務(wù)器集群，存儲(chǔ)空間大的優(yōu)勢(shì)，提高日志數(shù)據(jù)的存儲(chǔ)量，進(jìn)而不需要擔(dān)心日志數(shù)據(jù)因服務(wù)器儲(chǔ)存空間不夠而被清理導(dǎo)致無法查詢的情況。且在第二處理線程將ES對(duì)象寫入第一目標(biāo)隊(duì)列后再異步批量存儲(chǔ)至ES服務(wù)器，無需每轉(zhuǎn)換一條日志數(shù)據(jù)進(jìn)行一次交互，從而減少與ES服務(wù)器的交互次數(shù)，提高日志數(shù)據(jù)的存儲(chǔ)效率。

根據(jù)本申請(qǐng)的一個(gè)實(shí)施例，將所述日志數(shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)的ES對(duì)象寫入第一目標(biāo)隊(duì)列中，包括：

獲取所述日志數(shù)據(jù)的日志類型；

確定所述日志類型與任一預(yù)設(shè)類型匹配，檢測(cè)所述第一目標(biāo)隊(duì)列；

確定第一目標(biāo)隊(duì)列中的各ES對(duì)象與所述日志數(shù)據(jù)不匹配，將所述日志數(shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)的ES對(duì)象寫入第一目標(biāo)隊(duì)列中。

根據(jù)本申請(qǐng)的一個(gè)實(shí)施例，還包括：

確定第一目標(biāo)隊(duì)列中的至少一個(gè)ES對(duì)象與所述日志數(shù)據(jù)相匹配，刪除所述日志數(shù)據(jù)。

根據(jù)本申請(qǐng)的一個(gè)實(shí)施例，在確定所述第一目標(biāo)隊(duì)列中各所述ES對(duì)象的數(shù)量滿足預(yù)設(shè)數(shù)量之后，還包括：

暫停所述第一處理線程，直至第一目標(biāo)隊(duì)列中各所述ES對(duì)象的數(shù)量小于預(yù)設(shè)值；

其中，所述預(yù)設(shè)值小于或等于所述預(yù)設(shè)數(shù)量。

根據(jù)本申請(qǐng)的一個(gè)實(shí)施例，還包括：

確定所述第一目標(biāo)隊(duì)列中的所述ES對(duì)象存儲(chǔ)至所述ES服務(wù)器失敗，將所述ES對(duì)象確定為目標(biāo)對(duì)象后存儲(chǔ)至第二目標(biāo)隊(duì)列，并通過所述第二目標(biāo)隊(duì)列將所述目標(biāo)對(duì)象存儲(chǔ)至ES服務(wù)器。