[發(fā)明專利]一種日志數(shù)據(jù)上報(bào)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210195636.0
• 申請(qǐng)日: 2022-03-01
• 公開(kāi)（公告）號(hào): CN114500255A
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 田召桐
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): H04L41/069
• 分類號(hào): H04L41/069;H04L67/2871;H04L67/568
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 孫翠賢;高鶯然

本公開(kāi)提供了一種日志數(shù)據(jù)上報(bào)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，涉及數(shù)據(jù)傳輸領(lǐng)域，尤其涉及日志數(shù)據(jù)上報(bào)技術(shù)領(lǐng)域，具體涉及一種日志數(shù)據(jù)上報(bào)方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)。具體實(shí)現(xiàn)方案為：當(dāng)檢測(cè)到目標(biāo)消息中間件存儲(chǔ)有日志數(shù)據(jù)時(shí)，從所述目標(biāo)消息中間件中拉取日志數(shù)據(jù)；按照預(yù)定的上報(bào)策略，向日志服務(wù)器發(fā)送所拉取的日志數(shù)據(jù)，以使所述日志服務(wù)器在接收到日志數(shù)據(jù)后，保存所接收到的日志數(shù)據(jù)。通過(guò)本方案，可以避免高峰期的日志數(shù)據(jù)對(duì)日志服務(wù)器造成存儲(chǔ)壓力，從而減少日志數(shù)據(jù)上報(bào)失敗或丟失的概率。

技術(shù)領(lǐng)域

本公開(kāi)涉及數(shù)據(jù)傳輸技術(shù)領(lǐng)域，尤其涉及日志數(shù)據(jù)上報(bào)技術(shù)領(lǐng)域，具體涉及一種日志數(shù)據(jù)上報(bào)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

日志數(shù)據(jù)的分析是目前分析互聯(lián)網(wǎng)產(chǎn)品的用戶行為的重要方法。

用戶在使用客戶端的過(guò)程中，若產(chǎn)生點(diǎn)擊、瀏覽或者購(gòu)買等行為，則客戶端根據(jù)用戶的行為生成日志數(shù)據(jù)，并將日志數(shù)據(jù)上報(bào)到日志服務(wù)器。

發(fā)明內(nèi)容

本公開(kāi)提供了一種日志數(shù)據(jù)上報(bào)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

根據(jù)本公開(kāi)的一方面，提供了一種日志數(shù)據(jù)上報(bào)方法，該方法包括：

當(dāng)檢測(cè)到目標(biāo)消息中間件存儲(chǔ)有日志數(shù)據(jù)時(shí)，從所述目標(biāo)消息中間件中拉取日志數(shù)據(jù)；其中，所述目標(biāo)消息中間件所存儲(chǔ)的日志數(shù)據(jù)為：客戶端上報(bào)的日志數(shù)據(jù)；

按照預(yù)定的上報(bào)策略，向日志服務(wù)器發(fā)送所拉取的日志數(shù)據(jù)，以使所述日志服務(wù)器在接收到日志數(shù)據(jù)后，保存所接收到的日志數(shù)據(jù)；

其中，所述預(yù)定的上報(bào)策略包括，針對(duì)所述目標(biāo)消息中間件的日志數(shù)據(jù)的上報(bào)速率，不高于所述日志服務(wù)器的吞吐量。

根據(jù)本公開(kāi)的另一方面，提供了一種日志數(shù)據(jù)上報(bào)系統(tǒng)，包括：部署有目標(biāo)消息中間件的目標(biāo)節(jié)點(diǎn)，以及客戶端對(duì)應(yīng)的服務(wù)器；

所述服務(wù)器，用于接收所述客戶端上報(bào)的日志數(shù)據(jù)，并將所接收到的日志數(shù)據(jù)寫入所述目標(biāo)消息中間件中；

所述目標(biāo)節(jié)點(diǎn)，用于當(dāng)檢測(cè)到目標(biāo)消息中間件中存儲(chǔ)有日志數(shù)據(jù)時(shí)，從所述目標(biāo)消息中間件中拉取日志數(shù)據(jù)；按照預(yù)定的上報(bào)策略，向日志服務(wù)器發(fā)送所拉取的日志數(shù)據(jù)，以使所述日志服務(wù)器在接收到日志數(shù)據(jù)后，保存所接收到的日志數(shù)據(jù)；

其中，所述預(yù)定的上報(bào)策略包括針對(duì)所述目標(biāo)消息中間件的日志數(shù)據(jù)的上報(bào)速率，不高于所述日志服務(wù)器的吞吐量。

根據(jù)本公開(kāi)的另一方面，提供了一種日志數(shù)據(jù)上報(bào)裝置，該裝置包括：

拉取模塊，當(dāng)檢測(cè)到目標(biāo)消息中間件存儲(chǔ)有日志數(shù)據(jù)時(shí)，從所述目標(biāo)消息中間件中拉取日志數(shù)據(jù)；其中，所述目標(biāo)消息中間件所存儲(chǔ)的日志數(shù)據(jù)為：客戶端上報(bào)的日志數(shù)據(jù)；

發(fā)送模塊，用于按照預(yù)定的上報(bào)策略，向日志服務(wù)器發(fā)送所拉取的日志數(shù)據(jù)，以使所述日志服務(wù)器在接收到日志數(shù)據(jù)后，保存所接收到的日志數(shù)據(jù)；其中，所述預(yù)定的上報(bào)策略包括針對(duì)所述目標(biāo)消息中間件的日志數(shù)據(jù)的上報(bào)速率，不高于所述日志服務(wù)器的吞吐量。

根據(jù)本公開(kāi)的另一方面，提供了一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述日志數(shù)據(jù)上報(bào)方法。

根據(jù)本公開(kāi)的另一方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行日志數(shù)據(jù)上報(bào)方法。

根據(jù)本公開(kāi)的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述日志數(shù)據(jù)上報(bào)方法。