[發明專利]數據聚合方法、系統、裝置、設備及存儲介質

在審

• 申請號: 202210307591.1
• 申請日: 2022-03-25
• 公開（公告）號: CN114640632A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 張羽;沈徐東
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: H04L47/125
• 分類號: H04L47/125;H04L47/2441;H04L47/50;H04L67/10;H04L67/1036;H04L67/563
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 唐會娜

本申請涉及一種數據聚合方法、系統、裝置、設備及存儲介質；其中，所述方法適用于轉發器，所述轉發器與轉發聚合集群中的各聚合組件均建立數據通信；且不同聚合組件用于對不同類型的數據進行聚合或降采樣處理；所述方法包括：獲取多條數據；根據各所述數據的數據類型，確定各所述數據各自對應的目標聚合組件；將各所述數據發送至與各所述數據各自對應的目標聚合組件；其中，每個所述目標聚合組件用于對所述轉發器發送的相同數據類型的數據進行聚類或降采樣處理，得到聚合結果數據；接收各所述目標聚合組件發送的各所述聚合結果數據。本申請用以解決現有技術中，數據流量較大的情況下，導致數據聚合結果不準確的問題。

技術領域

本申請涉及云計算技術領域，尤其涉及一種數據聚合方法、系統、裝置、設備及存儲介質。

背景技術

目前，在利用m3db技術存儲大量的數據指標時，每個轉發器對應綁定有一個m3db聚合組件，其中，m3db聚合組件用于對數據進行聚合或降采樣處理，然后通過轉發器將聚合或降采樣處理后的數據，再寫回到m3db存儲器中。

但是，在數據流量較大的情況下，如果使用負載均衡將數據分發到多個轉發器上，由于負載均衡分發數據時，并不考慮數據的具體內容，會導致分發到某個轉發器上的數據的種類是多樣的。而由于每個轉發器對應綁定有一個m3db聚合組件，則聚合時會出現將多種不同類型的數據聚合到一起的情況，導致聚合結果不準確。

發明內容

本申請提供了一種數據聚合方法、系統、裝置、設備及存儲介質，用以解決現有技術中，數據流量較大的情況下，導致數據聚合結果不準確的問題。

第一方面，本申請提供了一種數據聚合方法，適用于轉發器，所述轉發器與轉發聚合集群中的各聚合組件均建立數據通信；且不同聚合組件用于對不同類型的數據進行聚合或降采樣處理；所述方法包括：

獲取多條數據；

根據各所述數據的數據類型，確定各所述數據各自對應的目標聚合組件；

將各所述數據發送至與各所述數據各自對應的目標聚合組件；其中，每個所述目標聚合組件用于對所述轉發器發送的相同數據類型的數據進行聚類或降采樣處理，得到聚合結果數據；

接收各所述目標聚合組件發送的各所述聚合結果數據。

可選的，所述根據各所述數據的數據類型，確定各所述數據各自對應的目標聚合組件，包括：

獲取轉發聚合集群中各所述聚合組件的總數量；

對于每條所述數據，將所述數據類型和所述總數量進行一致性哈希計算，確定所述數據對應的所述目標聚合組件。

可選的，所述將各所述數據發送至與各所述數據各自對應的目標聚合組件，包括：

確定與各所述目標聚合組件各自對應的入隊列；

按照所述入隊列，發送各所述數據至與各所述數據各自對應的目標聚合組件。

可選的，所述接收各所述目標聚合組件發送的各所述聚合結果數據，包括：

確定與各所述目標聚合組件各自對應的出隊列；

按照所述出隊列，獲取各所述目標聚合組件各自發送的所述聚合結果數據。

可選的，所述確定與各所述目標聚合組件各自對應的入隊列，包括：

從etcd服務器中，獲取各所述聚合組件與數據類型、預設入隊列以及預設出隊列之間的預設對應關系；

對于每個所述目標聚合組件，根據所述預設對應關系，確定與所述目標聚合組件對應的預設入隊列，作為所述入隊列。

可選的，所述確定與各所述目標聚合組件各自對應的出隊列，包括：