[發(fā)明專利]數(shù)據(jù)聚合處理方法、計算節(jié)點(diǎn)、計算集群及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011436298.2
• 申請日: 2020-12-10
• 公開（公告）號: CN112506950A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 劉玉德;黃啟軍;李詩琦
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2455;G06F16/27
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 朱穎;臧建明

本發(fā)明公開了一種數(shù)據(jù)聚合處理方法、計算節(jié)點(diǎn)、計算集群及存儲介質(zhì)，該數(shù)據(jù)聚合處理方法應(yīng)用于計算集群中的計算節(jié)點(diǎn)，該方法包括：獲取初始值和所述計算節(jié)點(diǎn)的節(jié)點(diǎn)數(shù)據(jù)，其中，所述節(jié)點(diǎn)數(shù)據(jù)和所述初始值的存儲方式為列式存儲；基于列式遍歷的方式，對所述初始值和所述節(jié)點(diǎn)數(shù)據(jù)進(jìn)行處理，以生成節(jié)點(diǎn)處理數(shù)據(jù)；若所述計算節(jié)點(diǎn)為處理節(jié)點(diǎn)，則將所述節(jié)點(diǎn)處理數(shù)據(jù)發(fā)送至所述計算集群的聚合節(jié)點(diǎn)；若所述計算節(jié)點(diǎn)為所述聚合節(jié)點(diǎn)，則將各個所述節(jié)點(diǎn)處理數(shù)據(jù)聚合，得到集群聚合數(shù)據(jù)，以將所述集群聚合數(shù)據(jù)發(fā)送至客戶端，實現(xiàn)了基于計算集群，對列式存儲的數(shù)據(jù)，采用列式遍歷的方式進(jìn)行聚合，提高了數(shù)據(jù)聚合的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)聚合處理方法、計算節(jié)點(diǎn)、計算集群及存儲介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的飛速發(fā)展，數(shù)據(jù)量急劇增長，大數(shù)據(jù)分析已應(yīng)用于各個領(lǐng)域。為了提高大數(shù)據(jù)處理的效率，通常需要基于分布式計算架構(gòu)進(jìn)行大數(shù)據(jù)處理。

然而，由于當(dāng)前的分布式計算架構(gòu)大多采用行式存儲方式，如spark，從而其分布式算子，如map、reduce、aggregate等，均采用行式計算的方式，然而對于一些用戶需求為需要針對其他存儲形式的數(shù)據(jù)進(jìn)行處理時，如需要計算其他存儲形式的數(shù)據(jù)的最大值、平均值等，當(dāng)所需處理的數(shù)據(jù)量較大時，采用行式計算方式的算子的計算開銷較大，計算效率較低，無法滿足需求。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種數(shù)據(jù)聚合處理方法、計算節(jié)點(diǎn)、計算集群及存儲介質(zhì)，針對基于列式存儲方式的數(shù)據(jù)，提供了一種高速有效的聚合處理方法，提高了分布式存儲的大數(shù)據(jù)聚合處理的性能。

為實現(xiàn)上述目的，第一方面，本發(fā)明實施例提供一種數(shù)據(jù)聚合處理方法，該方法應(yīng)用于計算集群中的計算節(jié)點(diǎn)，該數(shù)據(jù)聚合處理方法包括：

獲取初始值和所述計算節(jié)點(diǎn)的節(jié)點(diǎn)數(shù)據(jù)，其中，所述節(jié)點(diǎn)數(shù)據(jù)和所述初始值的存儲方式為列式存儲；基于列式遍歷的方式，對所述初始值和所述節(jié)點(diǎn)數(shù)據(jù)進(jìn)行處理，以生成節(jié)點(diǎn)處理數(shù)據(jù)；若所述計算節(jié)點(diǎn)為處理節(jié)點(diǎn)，則將所述節(jié)點(diǎn)處理數(shù)據(jù)發(fā)送至所述計算集群的聚合節(jié)點(diǎn)；若所述計算節(jié)點(diǎn)為所述聚合節(jié)點(diǎn)，則將各個所述節(jié)點(diǎn)處理數(shù)據(jù)聚合，得到集群聚合數(shù)據(jù)，以將所述集群聚合數(shù)據(jù)發(fā)送至客戶端。

可選地，基于列式遍歷的方式，對所述初始值和所述節(jié)點(diǎn)數(shù)據(jù)進(jìn)行處理，以生成節(jié)點(diǎn)處理數(shù)據(jù)，包括：

按照列式遍歷的方式，讀取所述計算節(jié)點(diǎn)的所述節(jié)點(diǎn)數(shù)據(jù)和所述初始值的每列數(shù)據(jù)；基于預(yù)設(shè)邏輯算法，根據(jù)所述節(jié)點(diǎn)數(shù)據(jù)和所述初始值的每列數(shù)據(jù)，生成所述計算節(jié)點(diǎn)的所述節(jié)點(diǎn)處理數(shù)據(jù)。

可選地，按照列式遍歷的方式，讀取所述計算節(jié)點(diǎn)的所述節(jié)點(diǎn)數(shù)據(jù)和所述初始值的每列數(shù)據(jù)，包括：

根據(jù)所述計算節(jié)點(diǎn)的線程的數(shù)量，將所述節(jié)點(diǎn)數(shù)據(jù)和所述初始值按列進(jìn)行劃分，以得到多個節(jié)點(diǎn)子數(shù)據(jù)和多個子初始值，其中，所述多個節(jié)點(diǎn)子數(shù)據(jù)的數(shù)量以及所述多個子初始值的數(shù)量均與所述線程的數(shù)量一致；針對所述計算節(jié)點(diǎn)的每個線程，基于列式遍歷的方式，讀取所述線程對應(yīng)的節(jié)點(diǎn)子數(shù)據(jù)和子初始值的每列數(shù)據(jù)。

相應(yīng)的，基于預(yù)設(shè)邏輯算法，根據(jù)所述節(jié)點(diǎn)數(shù)據(jù)和所述初始值的每列數(shù)據(jù)，生成所述計算節(jié)點(diǎn)的所述節(jié)點(diǎn)處理數(shù)據(jù)，包括：

針對所述計算節(jié)點(diǎn)的每個線程，基于預(yù)設(shè)邏輯算法，根據(jù)所述線程的所述節(jié)點(diǎn)子數(shù)據(jù)和所述子初始值的每列數(shù)據(jù)，生成所述線程的線程處理數(shù)據(jù)；根據(jù)各個所述線程處理數(shù)據(jù)生成所述計算節(jié)點(diǎn)的所述節(jié)點(diǎn)處理數(shù)據(jù)。

可選地，在根據(jù)所述計算節(jié)點(diǎn)的線程的數(shù)量，將所述節(jié)點(diǎn)數(shù)據(jù)和所述初始值按列進(jìn)行劃分之前，所述方法還包括：

根據(jù)所述計算節(jié)點(diǎn)的所述節(jié)點(diǎn)數(shù)據(jù)和所述初始值，生成所述計算節(jié)點(diǎn)的各個線程共享的共享變量。

相應(yīng)的，針對所述計算節(jié)點(diǎn)的每個線程，基于預(yù)設(shè)邏輯算法，根據(jù)所述線程的所述節(jié)點(diǎn)子數(shù)據(jù)和所述子初始值的每列數(shù)據(jù)，生成所述線程的線程處理數(shù)據(jù)，包括：