[發明專利]數據聚合處理方法、計算節點、計算集群及存儲介質

在審

• 申請號: 202011436298.2
• 申請日: 2020-12-10
• 公開（公告）號: CN112506950A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 劉玉德;黃啟軍;李詩琦
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2455;G06F16/27
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;臧建明

1.一種數據聚合處理方法，其特征在于，所述方法應用于計算集群中的計算節點，所述方法包括：

獲取初始值和所述計算節點的節點數據，其中，所述節點數據和所述初始值的存儲方式為列式存儲；

基于列式遍歷的方式，對所述初始值和所述節點數據進行處理，以生成節點處理數據；

若所述計算節點為處理節點，則將所述節點處理數據發送至所述計算集群的聚合節點；

若所述計算節點為所述聚合節點，則將各個所述節點處理數據聚合，得到集群聚合數據，以將所述集群聚合數據發送至客戶端。

2.根據權利要求1所述的方法，其特征在于，基于列式遍歷的方式，對所述初始值和所述節點數據進行處理，以生成節點處理數據，包括：

按照列式遍歷的方式，讀取所述節點數據和所述初始值的每列數據；

基于預設邏輯算法，根據所述節點數據和所述初始值的每列數據，生成所述計算節點的所述節點處理數據。

3.根據權利要求2所述的方法，其特征在于，按照列式遍歷的方式，讀取所述節點數據和所述初始值的每列數據，包括：

根據所述計算節點的線程的數量，將所述節點數據和所述初始值按列進行劃分，以得到多個節點子數據和多個子初始值，其中，所述多個節點子數據的數量以及所述多個子初始值的數量均與所述線程的數量一致；

針對所述計算節點的每個線程，基于列式遍歷的方式，讀取所述線程對應的節點子數據和子初始值的每列數據；

相應的，基于預設邏輯算法，根據所述節點數據和所述初始值的每列數據，生成所述計算節點的所述節點處理數據，包括：

針對所述計算節點的每個線程，基于預設邏輯算法，根據所述線程的所述節點子數據和所述子初始值的每列數據，生成所述線程的線程處理數據；

根據各個所述線程處理數據生成所述計算節點的所述節點處理數據。

4.根據權利要求3所述的方法，其特征在于，在根據所述計算節點的線程的數量，將所述節點數據和所述初始值按列進行劃分之前，所述方法還包括：

根據所述計算節點的所述節點數據和所述初始值，生成所述計算節點的至少兩個線程共享的共享變量；

相應的，針對所述計算節點的每個線程，基于預設邏輯算法，根據所述線程的所述節點子數據和所述子初始值的每列數據，生成所述線程的線程處理數據，包括：

針對所述計算節點的每個需要調用共享變量的線程，基于預設邏輯算法，根據所述共享變量、所述線程的所述節點子數據和所述子初始值的每列數據，生成所述線程的線程處理數據；

針對所述計算節點的每個不需要調用共享變量的線程，基于預設邏輯算法，根據所述線程的所述節點子數據和所述子初始值的每列數據，生成所述線程的線程處理數據。

5.根據權利要求1-4任一項所述的方法，其特征在于，將各個節點處理數據聚合，得到集群聚合數據，包括：

獲取第一計算節點的節點處理數據；

當存在至少一個第二計算節點的節點處理數據時，則將所述第一計算節點的節點處理數據和所述至少一個第二計算節點的節點處理數據聚合，得到中間聚合數據，其中，所述第一計算節點為所述計算集群中的任意一個所述計算節點，所述第二計算節點為所述計算集群中的所述第一計算節點不同的所述計算節點；

將所述中間聚合數據放置于所述節點處理數據對應的隊列中，并刪除所述第一計算節點的節點數據和至少一個第二計算節點的節點處理數據；

當各個所述計算節點的節點處理數據均被聚合，且所述節點處理數據對應的隊列中的數據的數量為1時，聚合完畢，所述節點處理數據對應的隊列中的數據為所述集群聚合數據。