[發明專利]數據聚合方法、系統、裝置、設備及存儲介質

在審

• 申請號: 202210307591.1
• 申請日: 2022-03-25
• 公開（公告）號: CN114640632A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 張羽;沈徐東
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: H04L47/125
• 分類號: H04L47/125;H04L47/2441;H04L47/50;H04L67/10;H04L67/1036;H04L67/563
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 唐會娜

1.一種數據聚合方法，其特征在于，適用于轉發器，所述轉發器與轉發聚合集群中的各聚合組件均建立數據通信；且不同聚合組件用于對不同類型的數據進行聚合或降采樣處理；所述方法包括：

獲取多條數據；

根據各所述數據的數據類型，確定各所述數據各自對應的目標聚合組件；

將各所述數據發送至與各所述數據各自對應的目標聚合組件；其中，每個所述目標聚合組件用于對所述轉發器發送的相同數據類型的數據進行聚類或降采樣處理，得到聚合結果數據；

接收各所述目標聚合組件發送的各所述聚合結果數據。

2.根據權利要求1所述的數據聚合方法，其特征在于，所述根據各所述數據的數據類型，確定各所述數據各自對應的目標聚合組件，包括：

獲取轉發聚合集群中各所述聚合組件的總數量；

對于每條所述數據，將所述數據類型和所述總數量進行一致性哈希計算，確定所述數據對應的所述目標聚合組件。

3.根據權利要求2所述的數據聚合方法，其特征在于，所述將各所述數據發送至與各所述數據各自對應的目標聚合組件，包括：

確定與各所述目標聚合組件各自對應的入隊列；

按照所述入隊列，發送各所述數據至與各所述數據各自對應的目標聚合組件。

4.根據權利要求3所述的數據聚合方法，其特征在于，所述接收各所述目標聚合組件發送的各所述聚合結果數據，包括：

確定與各所述目標聚合組件各自對應的出隊列；

按照所述出隊列，獲取各所述目標聚合組件各自發送的所述聚合結果數據。

5.根據權利要求3或4所述的數據聚合方法，其特征在于，所述確定與各所述目標聚合組件各自對應的入隊列，包括：

從etcd服務器中，獲取各所述聚合組件與數據類型、預設入隊列以及預設出隊列之間的預設對應關系；

對于每個所述目標聚合組件，根據所述預設對應關系，確定與所述目標聚合組件對應的預設入隊列，作為所述入隊列。

6.根據權利要求4所述的數據聚合方法，其特征在于，所述確定與各所述目標聚合組件各自對應的出隊列，包括：

從etcd服務器中，獲取各所述聚合組件與數據類型、預設入隊列以及預設出隊列之間的預設對應關系；

對于每個所述目標聚合組件，根據所述預設對應關系，確定與所述目標聚合組件對應的預設出隊列，作為所述出隊列。

7.一種數據聚合方法，其特征在于，適用于聚合組件；所述聚合組件與至少兩個轉發器均建立數據通信；所述方法包括：

獲取至少兩個轉發器各自發送的數據；且所述至少兩個轉發器發送的數據的數據類型相同；

對各所述轉發器發送的數據分別進行聚合或降采樣處理，得到各所述轉發器各自對應的聚合結果數據；

將各所述聚合結果數據對應發送至與所述聚合結果數據各自對應的轉發器。

8.一種數據聚合系統，其特征在于，包括：至少兩個轉發器和轉發聚合集群；其中，所述轉發聚合集群中包括至少兩個聚合組件；其中，每個所述轉發器與所述至少兩個聚合組件均建立數據通信；不同聚合組件用于對不同數據類型的數據進行聚類或降采樣處理；

每個所述轉發器，用于接收多條數據，根據各所述數據的數據類型，確定各所述數據各自對應的目標聚合組件；將各所述數據發送至與各所述數據各自對應的目標聚合組件；

每個所述目標聚合組件，用于對與所述目標聚合組件對應的數據類型相同的各所述數據，按照不同轉發器分別進行聚合或降采樣處理，得到各所述轉發器各自對應的聚合結果數據；將各所述聚合結果數據發送至與各所述聚合結果數據各自對應的轉發器；

每個所述轉發器，用于接收各所述目標聚合組件發送的各所述聚合結果數據。