[發(fā)明專利]日志數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011086322.4
• 申請(qǐng)日: 2020-10-12
• 公開（公告）號(hào): CN112148674A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 馬曉龍;祁明遠(yuǎn)
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F16/11
• 分類號(hào): G06F16/11;G06F16/18
• 代理公司: 深圳市力道知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44507
• 代理人: 張傳義

1.一種日志數(shù)據(jù)處理方法，其特征在于，包括：

獲取待處理日志數(shù)據(jù)；

根據(jù)所述待處理日志數(shù)據(jù)的日志提供方對(duì)應(yīng)的功能類型，確定所述日志提供方對(duì)應(yīng)的目標(biāo)日志格式；

根據(jù)所述目標(biāo)日志格式，對(duì)所述待處理日志數(shù)據(jù)進(jìn)行格式化處理，得到格式化后的日志數(shù)據(jù)；

基于預(yù)設(shè)的封裝處理策略，對(duì)格式化后的所述日志數(shù)據(jù)進(jìn)行封裝處理，并將封裝處理后的所述日志數(shù)據(jù)存儲(chǔ)至目標(biāo)數(shù)據(jù)庫系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的日志數(shù)據(jù)處理方法，其特征在于，所述獲取待處理日志數(shù)據(jù)，包括：

確定所述日志提供方中的中間件，對(duì)所述中間件安裝日志采集器；

根據(jù)所述日志采集器獲取所述待處理日志數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的日志數(shù)據(jù)處理方法，其特征在于，所述功能類型包括代理服務(wù)功能和應(yīng)用服務(wù)功能；所述根據(jù)所述待處理日志數(shù)據(jù)的日志提供方對(duì)應(yīng)的功能類型，確定所述日志提供方對(duì)應(yīng)的目標(biāo)日志格式，包括：

當(dāng)所述功能類型為代理服務(wù)功能時(shí)，從區(qū)塊鏈中獲取預(yù)設(shè)的第一類配置文件，并將所述第一類配置文件中包括的預(yù)設(shè)的日志標(biāo)準(zhǔn)格式作為所述目標(biāo)日志格式；

當(dāng)所述功能類型為應(yīng)用服務(wù)功能時(shí)，從區(qū)塊鏈中獲取預(yù)設(shè)的第二類配置文件，根據(jù)所述第二配置文件確定所述目標(biāo)日志格式，其中，所述第二類配置文件包括多個(gè)預(yù)設(shè)的日志自定義格式。

4.根據(jù)權(quán)利要求3所述的日志數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述第二配置文件確定所述目標(biāo)日志格式之前，還包括：

確定預(yù)設(shè)的多個(gè)中間件；

基于預(yù)設(shè)的匹配策略，對(duì)每個(gè)所述中間件匹配對(duì)應(yīng)的日志自定義格式；

將每個(gè)所述中間件與對(duì)應(yīng)的日志自定義格式進(jìn)行關(guān)聯(lián)并存儲(chǔ)至所述第二類配置文件中；

所述根據(jù)所述第二配置文件確定所述目標(biāo)日志格式，包括：

確定所述日志提供方中的中間件；

從所述第二類配置文件中查詢所述中間件關(guān)聯(lián)的日志自定義格式，并將所述日志自定義格式作為所述目標(biāo)日志格式。

5.根據(jù)權(quán)利要求1所述的日志數(shù)據(jù)處理方法，其特征在于，所述基于預(yù)設(shè)的封裝處理策略，對(duì)格式化后的所述日志數(shù)據(jù)進(jìn)行封裝處理，并將封裝處理后的所述日志數(shù)據(jù)存儲(chǔ)至目標(biāo)數(shù)據(jù)庫系統(tǒng)，包括：

提取格式化后的所述日志數(shù)據(jù)對(duì)應(yīng)的字段名與字段值，生成格式化后的所述日志數(shù)據(jù)對(duì)應(yīng)的鍵值對(duì)集合；

對(duì)所述鍵值對(duì)集合添加預(yù)設(shè)的維度信息標(biāo)簽，得到攜帶所述維度信息標(biāo)簽的所述鍵值對(duì)集合；

將攜帶所述維度信息標(biāo)簽的所述鍵值對(duì)集合存儲(chǔ)至所述目標(biāo)數(shù)據(jù)庫系統(tǒng)中。

6.根據(jù)權(quán)利要求5所述的日志數(shù)據(jù)處理方法，其特征在于，所述將封裝處理后的所述日志數(shù)據(jù)存儲(chǔ)至目標(biāo)數(shù)據(jù)庫系統(tǒng)之后，還包括：

接收日志查詢操作，根據(jù)所述日志查詢操作在預(yù)設(shè)的日志查詢頁面獲取對(duì)應(yīng)的維度信息和查詢時(shí)間段；

根據(jù)所述維度信息與所述查詢時(shí)間段在所述目標(biāo)數(shù)據(jù)庫系統(tǒng)中查詢到所述日志查詢操作對(duì)應(yīng)的日志查詢結(jié)果；

根據(jù)所述日志查詢結(jié)果生成日志分析信息，并將所述日志分析信息顯示在所述日志查詢頁面上。

7.根據(jù)權(quán)利要求6所述的日志數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述維度信息與所述查詢時(shí)間段在所述目標(biāo)數(shù)據(jù)庫系統(tǒng)中查詢到所述日志查詢操作對(duì)應(yīng)的日志查詢結(jié)果，包括：

當(dāng)檢測到基于所述日志查詢頁面中的查詢按鈕的觸發(fā)操作時(shí)，根據(jù)所述維度信息與所述查詢時(shí)間段生成數(shù)據(jù)查詢請(qǐng)求，其中，所述數(shù)據(jù)查詢請(qǐng)求包括維度信息與查詢時(shí)間段；

將所述數(shù)據(jù)查詢請(qǐng)求發(fā)送至所述目標(biāo)數(shù)據(jù)庫系統(tǒng)中，以使所述目標(biāo)數(shù)據(jù)庫系統(tǒng)根據(jù)所述數(shù)據(jù)查詢請(qǐng)求中的維度信息與查詢時(shí)間段在攜帶所述維度信息標(biāo)簽的所述鍵值對(duì)集合中確定目標(biāo)鍵值對(duì)集合，并返回所述目標(biāo)鍵值對(duì)集合；

接收所述目標(biāo)數(shù)據(jù)庫系統(tǒng)返回的所述目標(biāo)鍵值對(duì)集合，將所述目標(biāo)鍵值對(duì)集合作為所述日志查詢結(jié)果。