[發(fā)明專利]日志數(shù)據(jù)處理方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010115818.3
• 申請(qǐng)日: 2020-02-24
• 公開（公告）號(hào): CN111274095B
• 公開（公告）日: 2023-01-24
• 發(fā)明（設(shè)計(jì)）人: 魏帥超;鄭明華;鐘志明
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 晏波

1.一種日志數(shù)據(jù)處理方法，其特征在于，所述日志數(shù)據(jù)處理方法包括以下步驟：

采集多個(gè)系統(tǒng)的業(yè)務(wù)日志數(shù)據(jù)，并根據(jù)多個(gè)所述系統(tǒng)的日志數(shù)據(jù)類型，對(duì)各項(xiàng)所述業(yè)務(wù)日志數(shù)據(jù)進(jìn)行解析，生成標(biāo)準(zhǔn)日志數(shù)據(jù)；

將各項(xiàng)所述標(biāo)準(zhǔn)日志數(shù)據(jù)進(jìn)行聚合，生成聚合數(shù)據(jù)，并對(duì)所述聚合數(shù)據(jù)進(jìn)行時(shí)區(qū)標(biāo)準(zhǔn)化處理和數(shù)據(jù)補(bǔ)齊處理，得到聚合時(shí)序數(shù)據(jù)；

統(tǒng)計(jì)所述聚合時(shí)序數(shù)據(jù)中的異常關(guān)鍵字，并根據(jù)預(yù)設(shè)監(jiān)控類型，對(duì)所述異常關(guān)鍵字進(jìn)行預(yù)警；

所述對(duì)所述聚合數(shù)據(jù)進(jìn)行時(shí)區(qū)標(biāo)準(zhǔn)化處理和數(shù)據(jù)補(bǔ)齊處理，得到聚合時(shí)序數(shù)據(jù)的步驟包括：

獲取各項(xiàng)所述業(yè)務(wù)日志數(shù)據(jù)的生成時(shí)間，并根據(jù)各所述生成時(shí)間將所述聚合數(shù)據(jù)劃分為第一數(shù)據(jù)和第二數(shù)據(jù)，其中各所述第一數(shù)據(jù)對(duì)應(yīng)的所述生成時(shí)間為空值，各所述第二數(shù)據(jù)對(duì)應(yīng)的所述生成時(shí)間為非空值；

獲取將各項(xiàng)所述標(biāo)準(zhǔn)日志數(shù)據(jù)進(jìn)行聚合的聚合時(shí)間，并根據(jù)各所述第二數(shù)據(jù)對(duì)應(yīng)的所述生成時(shí)間，對(duì)與各所述第二數(shù)據(jù)對(duì)應(yīng)的所述聚合時(shí)間進(jìn)行調(diào)整，以對(duì)所述聚合數(shù)據(jù)進(jìn)行時(shí)區(qū)標(biāo)準(zhǔn)化處理；

根據(jù)當(dāng)前時(shí)間，對(duì)與各所述第一數(shù)據(jù)對(duì)應(yīng)的所述生成時(shí)間進(jìn)行補(bǔ)全，以對(duì)所述聚合數(shù)據(jù)進(jìn)行數(shù)據(jù)補(bǔ)全處理，并將與各所述第一數(shù)據(jù)對(duì)應(yīng)的所述聚合時(shí)間調(diào)整為補(bǔ)全后的所述生成時(shí)間；

將經(jīng)調(diào)整的各所述第一數(shù)據(jù)和各所述第二數(shù)據(jù)生成為所述聚合時(shí)序數(shù)據(jù)。

2.如權(quán)利要求1所述的日志數(shù)據(jù)處理方法，其特征在于，所述根據(jù)預(yù)設(shè)監(jiān)控類型，對(duì)所述異常關(guān)鍵字進(jìn)行預(yù)警的步驟包括：

若所述預(yù)設(shè)監(jiān)控類型為關(guān)鍵字監(jiān)控，則將所述異常關(guān)鍵字生成為預(yù)警信息進(jìn)行預(yù)警；

若所述預(yù)設(shè)監(jiān)控類型為頻率監(jiān)控，則判斷在預(yù)設(shè)時(shí)間區(qū)間內(nèi)統(tǒng)計(jì)的所述異常關(guān)鍵字的數(shù)量是否大于預(yù)設(shè)閾值；

若所述異常關(guān)鍵字的數(shù)量大于預(yù)設(shè)閾值，則將所述異常關(guān)鍵字生成為預(yù)警信息進(jìn)行預(yù)警。

3.如權(quán)利要求1所述的日志數(shù)據(jù)處理方法，其特征在于，所述將經(jīng)調(diào)整的各所述第一數(shù)據(jù)和各所述第二數(shù)據(jù)生成為所述聚合時(shí)序數(shù)據(jù)的步驟之后包括：

將生成所述聚合時(shí)序數(shù)據(jù)的各所述第一數(shù)據(jù)和各所述第二數(shù)據(jù)按照調(diào)整后的時(shí)間先后順序進(jìn)行存儲(chǔ)；

當(dāng)接收到時(shí)序檢索請(qǐng)求時(shí)，讀取所述時(shí)序檢索請(qǐng)求中攜帶的時(shí)間段，并根據(jù)所述時(shí)間段，檢索所述聚合時(shí)序數(shù)據(jù)中的目標(biāo)數(shù)據(jù)；

將所述目標(biāo)數(shù)據(jù)輸出。

4.如權(quán)利要求1所述的日志數(shù)據(jù)處理方法，其特征在于，所述根據(jù)多個(gè)所述系統(tǒng)的日志數(shù)據(jù)類型，對(duì)各項(xiàng)所述業(yè)務(wù)日志數(shù)據(jù)進(jìn)行解析，生成標(biāo)準(zhǔn)日志數(shù)據(jù)的步驟包括：

確定與多個(gè)所述系統(tǒng)的日志數(shù)據(jù)類型對(duì)應(yīng)的解析規(guī)則，并在對(duì)應(yīng)于相同所述系統(tǒng)的所述解析規(guī)則和所述業(yè)務(wù)日志數(shù)據(jù)之間建立映射關(guān)系；

針對(duì)各所述映射關(guān)系均執(zhí)行以下步驟：

根據(jù)所述映射關(guān)系中的所述解析規(guī)則，對(duì)所述映射關(guān)系中的所述業(yè)務(wù)日志數(shù)據(jù)基于預(yù)設(shè)標(biāo)準(zhǔn)格式進(jìn)行解析，生成與所述映射關(guān)系對(duì)應(yīng)的所述標(biāo)準(zhǔn)日志數(shù)據(jù)。

5.如權(quán)利要求4所述的日志數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述映射關(guān)系中的所述解析規(guī)則，對(duì)所述映射關(guān)系中的所述業(yè)務(wù)日志數(shù)據(jù)基于預(yù)設(shè)標(biāo)準(zhǔn)格式進(jìn)行解析，生成與所述映射關(guān)系對(duì)應(yīng)的所述標(biāo)準(zhǔn)日志數(shù)據(jù)的步驟包括：

根據(jù)所述映射關(guān)系中的所述解析規(guī)則，對(duì)所述映射關(guān)系中的所述業(yè)務(wù)日志數(shù)據(jù)進(jìn)行解析，生成日志子數(shù)據(jù)；

對(duì)各所述日志子數(shù)據(jù)進(jìn)行篩選，確定與所述預(yù)設(shè)標(biāo)準(zhǔn)格式對(duì)應(yīng)的目標(biāo)日志子數(shù)據(jù)；

根據(jù)所述預(yù)設(shè)標(biāo)準(zhǔn)格式，對(duì)各所述目標(biāo)日志子數(shù)據(jù)進(jìn)行排列，生成與所述映射關(guān)系對(duì)應(yīng)的所述標(biāo)準(zhǔn)日志數(shù)據(jù)。

6.如權(quán)利要求1-5任一項(xiàng)所述的日志數(shù)據(jù)處理方法，其特征在于，所述采集多個(gè)系統(tǒng)的業(yè)務(wù)日志數(shù)據(jù)的步驟之前包括：

當(dāng)檢測(cè)到達(dá)預(yù)設(shè)采集周期時(shí)，判斷是否存在新接入的待采集系統(tǒng)；

若存在新接入的所述待采集系統(tǒng)，則對(duì)多個(gè)所述系統(tǒng)進(jìn)行更新，并采集經(jīng)更新后的多個(gè)所述系統(tǒng)的所述業(yè)務(wù)日志數(shù)據(jù)；

若不存在新接入的所述待采集系統(tǒng)，則執(zhí)行采集多個(gè)系統(tǒng)的業(yè)務(wù)日志數(shù)據(jù)的步驟。