[發明專利]聚合查詢方法及裝置

在審

• 申請號: 202310486003.X
• 申請日: 2023-04-28
• 公開（公告）號: CN116501756A
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 杜沛韓;劉彬;王國平;唐銘豆;余璜
• 申請（專利權）人: 北京奧星貝斯科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

1.一種聚合查詢方法，應用于一個或多個服務器節點，包括：

接收聚合查詢請求針對的數據庫表的數據流，所述數據庫表分布在所述多個服務器節點上；

確定所述數據流中第一數據的待聚合列的非重復值數NDV，并發送所述第一數據至目標節點，其中，所述目標節點是所述多個服務器節點中的一個；

在所述NDV達到第一設定條件的情況下，根據所述NDV確定目標存儲閾值，并停止發送所述第一數據；

對待接收的所述數據流中的第二數據進行所述聚合查詢請求指示的聚合操作，并發送聚合結果至所述目標節點，所述聚合結果使用的存儲區域不超過所述目標存儲閾值。

2.根據權利要求1所述的方法，還包括：

以設定周期獲取所述第一數據的去重率，所述去重率根據所述NDV與接收到的第一數據的總數據量的比值確定；

在所述去重率大于第一比例閾值的情況下，確定所述NDV符合第一設定條件。

3.根據要利要求1或2所述的方法，在確定所述數據流中第一數據的待聚合列中非重復值數NDV之前，所述方法還包括：

對所述數據流中的第三數據進行所述聚合查詢請求指示的聚合操作，并發送聚合結果至所述目標節點，所述聚合結果使用的存儲區域不超過初始存儲閾值；

在所述聚合結果不符合第二設定條件的情況下，確定所述數據流中第一數據的待聚合列中的NDV，并發送所述第一數據至所述目標節點。

4.根據權利要求3所述的方法，所述對對所述數據流中的第三數據進行所述聚合查詢請求指示的聚合操作，并發送聚合結果至所述目標節點，包括：

在所述聚合結果使用的存儲區域達到所述初始存儲閾值的情況下，獲取所述聚合結果的去重率；

在所述去重率小于第二比例閾值的情況下，在發送所述聚合結果之后清空存儲區域中存儲的聚合結果，并根據接收的第三數據重新生成聚合結果。

5.根據權利要求4所述的方法，還包括：

在連續清空聚合結果的次數達到設定次數閾值的情況下，確定所述聚合結果不符合第二設定條件。

6.根據權利要求3所述的方法，所述初始存儲閾值根據以下任一項確定：

所述一個或多個服務器節點的可用內存大小；

所述一個或多個計算服務器節點的可用處理器緩存大小。

7.根據權利要求4所述的方法，還包括：

在所述去重率大于或等于所述第二比例閾值的情況下，提高所述初始存儲閾值，并根據提高的初始存儲閾值對接收的第三數據進行聚合操作。

8.根據權利要求1所述的方法，所述存儲區域包括處理器L2緩存。

9.根據權利要求1所述的方法，所述聚合查詢請求包括聚合函數和分組子句，所述對所述數據流中的目標數據進行預聚合，包括：

對所述分組子句指示的分組列進行所述第一數據的分組；

根據所述聚合函數對每個分組的第一數據執行聚合操作，得到聚合結果，

其中，所述目標數據包括第一數據和第三數據。

10.根據權利要求9所述的方法，所述分組子句包括group?by，所述對所述分組子句指示的分組列進行所述目標數據的分組，包括：

獲取group?by指示的分組列的哈希值，并根據所述哈希值進行所述目標數據的分組；

所述方法還包括：

將所述聚合結果存儲為哈希表，所述哈希表包括各個分組對應的哈希值。