[發明專利]一種數據采集方法、裝置、系統及電子設備

在審

• 申請號: 202110790420.4
• 申請日: 2021-07-13
• 公開（公告）號: CN113485893A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 劉彬
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F9/54;G06F11/34
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孫翠賢;孟維娜

1.一種數據采集方法，其特征在于，所述方法包括：

獲取針對目標服務程序的服務請求；

基于所述服務請求，確定用于數據流統計的數據內容，作為所述服務請求對應的采集內容；

將所述服務請求轉發至所述目標服務程序，以由所述目標服務器程序對所述服務請求進行請求響應。

2.根據權利要求1所述的方法，其特征在于，所述基于所述服務請求，確定用于數據流統計的數據內容，作為所述服務請求對應的采集內容之后，所述方法還包括：

基于所述服務請求對應的采集內容，對所述目標服務程序進行數據流統計。

3.根據權利要求2所述的方法，其特征在于，所述基于所述服務請求對應的采集內容，對所述目標服務程序進行數據流統計，包括：

將所述服務請求對應的采集內容發送至預定消息中間件，以使預定統計程序從所述預定消息中間件獲取采集內容，基于所獲取到的采集內容，分析所述目標服務程序的數據流。

4.根據權利要求3所述的方法，其特征在于，所述將所述服務請求對應的采集內容發送至預定消息中間件，包括：

將所述服務請求對應的采集內容緩存至預定數組；

在所述預定數組中的采集內容滿足預定轉發條件時，向所述預定消息中間件轉發所述預定數組中的采集內容。

5.根據權利要求3或4所述的方法，其特征在于，所述預定統計程序基于所獲取到的采集內容，分析所述目標服務程序的數據流，包括：

從所獲取到的采集內容中，確定指定維度下的數據內容；

對所述指定維度下的數據內容進行預定統計處理。

6.根據權利要求5所述的方法，其特征在于，所述預定統計程序對所述指定維度下的數據內容進行預定統計處理，包括：

將所述指定維度下的數據內容保存至數據庫中，所述數據庫為以所述指定維度為字段的數據庫；

和/或

確定所述指定維度下的數據內容所屬的目標取值，更新當前的指定單位時間下所述目標取值的統計量；其中，所述目標取值為所述指定維度所包括的各個維度值中的任一維度值。

7.根據權利要求5所述的方法，其特征在于，所述指定維度包括：

分區維度、用戶維度、數據量維度、發送時間維度或HTTP狀態維度。

8.根據權利要求4所述的方法，其特征在于，所述預定轉發條件包括：

所述預定數組中采集內容的條數，達到預定條數閾值；

或者，

所述預定數組中采集內容的數據量，達到預定數據量閾值。

9.一種數據采集裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取針對目標服務程序的服務請求；

確定模塊，用于基于所述服務請求，確定用于數據流統計的數據內容，作為所述服務請求對應的采集內容；

轉發模塊，用于將所述服務請求轉發至所述目標服務程序，以由所述目標服務器程序對所述服務請求進行請求響應。

10.一種數據采集系統，其特征在于，所述系統包括：數據采集裝置、預定消息中間件和預定統計程序；

所述數據采集裝置，用于獲取針對目標服務程序的服務請求；基于所述服務請求，確定用于數據流統計的數據內容，作為所述服務請求對應的采集內容；將所述服務請求轉發至所述目標服務程序，以由所述目標服務器程序對所述服務請求進行請求響應；將所述服務請求對應的采集內容發送至預定消息中間件；

所述預定消息中間件，用于存儲所述數據采集裝置發送的采集內容；

所述預定統計程序，用于從所述預定消息中間件獲取采集內容，基于所獲取到的采集內容，分析所述目標服務程序的數據流。