[發(fā)明專利]日志處理方法、裝置、發(fā)送端、接收端設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110317277.7
• 申請(qǐng)日: 2021-03-23
• 公開（公告）號(hào): CN113064869B
• 公開（公告）日: 2023-06-13
• 發(fā)明（設(shè)計(jì)）人: 范長(zhǎng)杰;馮陽;吳劍飛;劉柏
• 申請(qǐng)（專利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類號(hào): G06F16/17
• 分類號(hào): G06F16/17;G06F16/16;G06F16/174;G06F16/18
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 鐘揚(yáng)飛

本發(fā)明提供一種日志處理方法、裝置、發(fā)送端、接收端設(shè)備及存儲(chǔ)介質(zhì)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域。包括：在一個(gè)處理模塊對(duì)來自發(fā)送端設(shè)備的多條日志數(shù)據(jù)流均處理完成之后，由日志處理鏈路上的下一處理模塊對(duì)多條日志數(shù)據(jù)流進(jìn)行處理；其中，每條日志數(shù)據(jù)流中的每個(gè)日志數(shù)據(jù)包括：發(fā)送端設(shè)備中的一個(gè)日志線程的標(biāo)識(shí)；在日志處理鏈路上的最后一個(gè)處理模塊對(duì)多條日志數(shù)據(jù)流均處理完成之后，存儲(chǔ)最后一個(gè)處理模塊輸出的目標(biāo)日志數(shù)據(jù)。確保每個(gè)處理模塊的日志數(shù)據(jù)不丟失、處理更準(zhǔn)確，而且，基于多個(gè)日志數(shù)據(jù)中的日志線程標(biāo)識(shí)進(jìn)行去重處理，提高了日志去重的準(zhǔn)確性，避免日志的丟失，使得收集的日志更加可靠，還提高了日志收集的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種日志處理方法、裝置、發(fā)送端、接收端設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

日志可以記錄用戶在使用應(yīng)用程序過程中的操作行為，通過對(duì)日志進(jìn)行分析可以對(duì)用戶的狀態(tài)、行為進(jìn)行分析，挖掘出有價(jià)值的信息；也能夠?qū)?yīng)用程序中所存在的問題進(jìn)行定位，因此，對(duì)于日志的收集也變得越來越重要。

相關(guān)技術(shù)中，采用發(fā)送端設(shè)備對(duì)原始日志進(jìn)行分析，繼而去重處理，以確保收集到的日志不重復(fù)。

但是，相關(guān)技術(shù)中，采用發(fā)送端設(shè)備進(jìn)行去重處理，容易造成日志的丟失，導(dǎo)致收集的日志不可靠的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于，針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種日志處理方法、裝置、發(fā)送端、接收端設(shè)備及存儲(chǔ)介質(zhì)，以便解決相關(guān)技術(shù)中采用發(fā)送端設(shè)備進(jìn)行去重處理，容易造成日志的丟失，導(dǎo)致收集的日志不可靠的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例采用的技術(shù)方案如下：

第一方面，本發(fā)明實(shí)施例提供了一種日志處理方法，應(yīng)用于接收端設(shè)備，所述接收端設(shè)備的日志處理鏈路的多個(gè)處理模塊中包括去重處理模塊，所述方法包括：

在一個(gè)處理模塊對(duì)來自發(fā)送端設(shè)備的多條日志數(shù)據(jù)流均處理完成之后，由所述日志處理鏈路上的下一處理模塊對(duì)所述多條日志數(shù)據(jù)流進(jìn)行處理；每條日志數(shù)據(jù)流中的每個(gè)日志數(shù)據(jù)包括：所述發(fā)送端設(shè)備中的一個(gè)日志線程的標(biāo)識(shí)；

在所述日志處理鏈路上的最后一個(gè)處理模塊對(duì)所述多條日志數(shù)據(jù)流均處理完成之后，存儲(chǔ)所述最后一個(gè)處理模塊輸出的目標(biāo)日志數(shù)據(jù)；

其中，所述去重處理模塊用于根據(jù)所述日志數(shù)據(jù)中的日志線程標(biāo)識(shí)，對(duì)所述每條日志數(shù)據(jù)流中的日志數(shù)據(jù)進(jìn)行重復(fù)檢測(cè)，將檢測(cè)到的重復(fù)日志數(shù)據(jù)刪除。

可選的，所述存儲(chǔ)所述最后一個(gè)處理模塊輸出的目標(biāo)日志數(shù)據(jù)，包括：

對(duì)所述目標(biāo)日志數(shù)據(jù)進(jìn)行緩存；

將緩存的所述目標(biāo)日志數(shù)據(jù)寫入所述接收端設(shè)備的本地磁盤。

可選的，所述將緩存的所述目標(biāo)日志數(shù)據(jù)寫入所述接收端設(shè)備的本地磁盤，包括：

根據(jù)所述目標(biāo)日志數(shù)據(jù)的緩存速率、預(yù)設(shè)的消費(fèi)速率，生成至少一個(gè)消費(fèi)實(shí)例；

采用所述至少一個(gè)消費(fèi)實(shí)例，以所述消費(fèi)速率，將緩存的所述目標(biāo)日志數(shù)據(jù)寫入所述本地磁盤。

可選的，所述方法還包括：

根據(jù)所述目標(biāo)日志數(shù)據(jù)所包括的日志種類數(shù)，在所述本地磁盤中為每個(gè)所述消費(fèi)實(shí)例創(chuàng)建所述日志種類數(shù)對(duì)應(yīng)的多個(gè)文件；

所述將緩存的所述目標(biāo)日志數(shù)據(jù)寫入所述本地磁盤，包括：

根據(jù)所述目標(biāo)日志數(shù)據(jù)中日志數(shù)據(jù)的類型，將所述目標(biāo)日志數(shù)據(jù)中各類型的日志數(shù)據(jù)分別寫入所述磁盤中所述每個(gè)消費(fèi)實(shí)例對(duì)應(yīng)的所述多個(gè)文件中。

可選的，所述方法還包括：

對(duì)所述多個(gè)處理模塊的處理狀態(tài)信息進(jìn)行存儲(chǔ)；