[發明專利]一種日志數據上報方法、裝置、設備及存儲介質

在審

• 申請號: 202210195636.0
• 申請日: 2022-03-01
• 公開（公告）號: CN114500255A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 田召桐
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: H04L41/069
• 分類號: H04L41/069;H04L67/2871;H04L67/568
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孫翠賢;高鶯然

1.一種日志數據上報方法，所述方法包括：

當檢測到目標消息中間件存儲有日志數據時，從所述目標消息中間件中拉取日志數據；其中，所述目標消息中間件所存儲的日志數據為：客戶端上報的日志數據；

按照預定的上報策略，向日志服務器發送所拉取的日志數據，以使所述日志服務器在接收到日志數據后，保存所接收到的日志數據；

其中，所述預定的上報策略包括，針對所述目標消息中間件的日志數據的上報速率，不高于所述日志服務器的吞吐量。

2.根據權利要求1所述的方法，其中，所述從所述目標消息中間件中拉取日志數據，包括：

消息投遞進程從所述目標消息中間件中拉取日志數據；

所述按照預定的上報策略，向日志服務器發送所拉取的日志數據，包括：

所述消息投遞進程按照預定的上報策略，向日志服務器發送所拉取的日志數據。

3.根據權利要求2所述的方法，還包括：

基于所述目標消息中間所存儲日志數據的統計信息，確定所述消息投遞進程的數量；

其中，所述統計信息包括：當前所存儲的日志數據的數量，和/或，在預定時間段內能夠存儲的日志數據的預期數量。

4.根據權利要求1-3任一項所述的方法，其中，所述目標消息中間件為多個消息中間件中的任一個，不同的消息中間件位于不同的地域；

其中，任一消息中間件所存儲的日志數據為指定客戶端所上報的日志數據，所述指定客戶端為該消息中間件所屬地域內的客戶端；

所述預定的上報策略還包括：針對各個消息中間件中的日志數據的總的上報速率，不高于所述日志服務器的吞吐量。

5.根據權利要求4所述的方法，所述按照預定的上報策略，向日志服務器發送所拉取的日志數據之前，所述方法還包括：

當所述目標消息中間件為部署于指定地域的消息中間件時，執行所述按照預定的上報策略，向日志服務器發送所拉取的日志數據的步驟；其中，所述指定地域為所述日志服務器所屬的地域；

當所述目標消息中間件不為部署于指定地域的消息中間件時，將所拉取的日志數據寫入指定地域內的消息中間件中。

6.一種日志數據上報系統，包括：部署有目標消息中間件的目標節點，以及客戶端對應的服務器；

所述服務器，用于接收所述客戶端上報的日志數據，并將所接收到的日志數據寫入所述目標消息中間件中；

所述目標節點，用于當檢測到目標消息中間件中存儲有日志數據時，從所述目標消息中間件中拉取日志數據；按照預定的上報策略，向日志服務器發送所拉取的日志數據，以使所述日志服務器在接收到日志數據后，保存所接收到的日志數據；

其中，所述預定的上報策略包括針對所述目標消息中間件的日志數據的上報速率，不高于所述日志服務器的吞吐量。

7.根據權利要求6所述的系統，其中，所述目標消息中間件為多個消息中間件中的任一個，不同的消息中間件部署于不同地域的目標節點中；

不同地域內的客戶端對應不同的服務器；

所述服務器具體用于接收所屬的地域內的客戶端上報的日志數據，并將所接收到的日志數據寫入所屬地域的目標節點的目標消息中間件中；

所述預定的上報策略還包括：針對各個消息中間件中的日志數據的總的上報速率，不高于所述日志服務器的吞吐量。

8.根據權利要求7所述的系統，所述目標節點還用于：

當所述目標消息中間件為部署于指定地域的消息中間件時，執行所述按照預定的上報策略，向日志服務器發送所拉取的日志數據的步驟；其中，所述指定地域為所述日志服務器所屬的地域；

當所述目標消息中間件不為部署于指定地域的消息中間件時，將所拉取的日志數據寫入指定地域內的消息中間件中。