[發(fā)明專(zhuān)利]一種數(shù)據(jù)處理的方法、存儲(chǔ)節(jié)點(diǎn)及協(xié)調(diào)節(jié)點(diǎn)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610173369.1
• 申請(qǐng)日: 2016-03-24
• 公開(kāi)（公告）號(hào): CN107229635B
• 公開(kāi)（公告）日: 2020-06-02
• 發(fā)明（設(shè)計(jì)）人: 張玥;彭貴平;王傳廷
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/27
• 分類(lèi)號(hào): G06F16/27;G06F16/22
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

本申請(qǐng)實(shí)施例公開(kāi)了一種數(shù)據(jù)處理的方法、存儲(chǔ)節(jié)點(diǎn)及協(xié)調(diào)節(jié)點(diǎn)，本申請(qǐng)實(shí)施例方法包括：第一存儲(chǔ)節(jié)點(diǎn)根據(jù)第一表格數(shù)據(jù)中運(yùn)算列數(shù)據(jù)生成第一中間數(shù)據(jù)，根據(jù)第二表格數(shù)據(jù)中運(yùn)算列數(shù)據(jù)生成第二中間數(shù)據(jù)，再獲取第二存儲(chǔ)節(jié)點(diǎn)的第三中間數(shù)據(jù)的集合進(jìn)行表連接操作，由于第一中間數(shù)據(jù)、第二中間數(shù)據(jù)，第三中間數(shù)據(jù)只包括相應(yīng)的連接運(yùn)算列數(shù)據(jù)和非連接運(yùn)算列數(shù)據(jù)的位置信息，不包括非連接運(yùn)算列數(shù)據(jù)的實(shí)際數(shù)據(jù)，第一存儲(chǔ)節(jié)點(diǎn)中第一表格中運(yùn)算列數(shù)據(jù)與獲取的所有的第二表格的運(yùn)算列數(shù)據(jù)進(jìn)行的表連接操作，實(shí)際進(jìn)行的是它們對(duì)應(yīng)的中間數(shù)據(jù)進(jìn)行的表連接操作，降低了表連接操作時(shí)節(jié)點(diǎn)間數(shù)據(jù)的傳輸，極大節(jié)省了網(wǎng)絡(luò)帶寬，同時(shí)減少了表連接操作的總執(zhí)行時(shí)間。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)處理的方法、存儲(chǔ)節(jié)點(diǎn)及協(xié)調(diào)節(jié)點(diǎn)。

背景技術(shù)

社會(huì)各行業(yè)的業(yè)務(wù)系統(tǒng)越來(lái)越互聯(lián)網(wǎng)化，服務(wù)的范圍無(wú)限擴(kuò)大化，導(dǎo)致海量用戶(hù)、海量智能設(shè)備的參與，從而導(dǎo)致數(shù)據(jù)爆發(fā)性的增長(zhǎng)。傳統(tǒng)基于單機(jī)的數(shù)據(jù)庫(kù)技術(shù)已經(jīng)無(wú)法支撐海量數(shù)據(jù)的分析處理，在此情況下，基于MPP(Massively Parallel Processing)并行計(jì)算的并行數(shù)據(jù)庫(kù)集群應(yīng)運(yùn)而生。

在這些使用場(chǎng)景中，常常存在數(shù)據(jù)量很大的表，而且這種表的字段很多，甚至能達(dá)到幾百個(gè)字段。為了取得較好的性能，這樣的大表都會(huì)做水平分區(qū)(根據(jù)某個(gè)字段做hash分區(qū)，或者隨機(jī)分布)，將表中數(shù)據(jù)分布到集群的不同節(jié)點(diǎn)上。

在表中數(shù)據(jù)分布到集群的不同節(jié)點(diǎn)上，在進(jìn)行大表間的表連接操作(join操作)時(shí)，如果節(jié)點(diǎn)間傳輸?shù)臄?shù)據(jù)量很大，一般通過(guò)把數(shù)據(jù)打包壓縮的方式進(jìn)行傳輸，這種方案在一定程度上減少了節(jié)點(diǎn)間數(shù)據(jù)傳輸量，但是在接收到數(shù)據(jù)后還需要解壓縮后才能進(jìn)行下一步操作，因此在內(nèi)存占用量上沒(méi)有變化；，因?yàn)閿?shù)據(jù)傳輸量變小，節(jié)點(diǎn)間數(shù)據(jù)傳輸時(shí)間變短，因此總執(zhí)行時(shí)間變短。

但是上述方案雖然使用壓縮技術(shù)減少了節(jié)點(diǎn)間數(shù)據(jù)傳輸量，但是不必要的數(shù)據(jù)量只是減少了，并沒(méi)有完全消失，同時(shí)內(nèi)存占用量并沒(méi)有減少，在數(shù)據(jù)壓縮后解壓縮占用了中央處理器(Central Processing Unit，CPU)時(shí)間，即雖然傳輸時(shí)間減少，但CPU處理時(shí)間增加，總執(zhí)行時(shí)間并沒(méi)有顯著減少。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理的方法、存儲(chǔ)節(jié)點(diǎn)及協(xié)調(diào)節(jié)點(diǎn)，大大降低了表連接操作時(shí)節(jié)點(diǎn)間數(shù)據(jù)的傳輸，極大節(jié)省了網(wǎng)絡(luò)帶寬，同時(shí)減少了表連接操作的總執(zhí)行時(shí)間。

一方面，本申請(qǐng)的實(shí)施例提供一種數(shù)據(jù)處理的方法，應(yīng)用于并行計(jì)算的并行數(shù)據(jù)庫(kù)集群MPPDB，該MPPDB中可以包括多個(gè)存儲(chǔ)節(jié)點(diǎn)以及協(xié)調(diào)節(jié)點(diǎn)，每個(gè)存儲(chǔ)節(jié)點(diǎn)中可以保存多個(gè)表格的數(shù)據(jù)的一部分，本申請(qǐng)實(shí)施例中，該MPPDB至少包括第一存儲(chǔ)節(jié)點(diǎn)，該第一存儲(chǔ)節(jié)點(diǎn)保存了第一表格數(shù)據(jù)的一部分和第二表格數(shù)據(jù)的一部分，該方法包括：

第一存儲(chǔ)節(jié)點(diǎn)獲取客戶(hù)端設(shè)備發(fā)起的表連接操作的請(qǐng)求，該請(qǐng)求為將第一表格數(shù)據(jù)中運(yùn)算列數(shù)據(jù)和第二表格數(shù)據(jù)中運(yùn)算列數(shù)據(jù)進(jìn)行表連接操作的請(qǐng)求，運(yùn)算列數(shù)據(jù)指的是表格數(shù)據(jù)中將要進(jìn)行連接操作對(duì)應(yīng)的該行或該列數(shù)據(jù)，由于行和列是相對(duì)的，行換一個(gè)方向即為列，此處用運(yùn)算列數(shù)據(jù)中的“列”不限“行”的情況；

第一存儲(chǔ)節(jié)點(diǎn)根據(jù)本地保存的第一表格數(shù)據(jù)中運(yùn)算列數(shù)據(jù)生成第一中間數(shù)據(jù)，根據(jù)本地保存的第二表格數(shù)據(jù)中運(yùn)算列數(shù)據(jù)生成第二中間數(shù)據(jù)，其中，第一中間數(shù)據(jù)包括所述第一表格數(shù)據(jù)中連接運(yùn)算列數(shù)據(jù)和存儲(chǔ)所述第一表格數(shù)據(jù)中非連接運(yùn)算列數(shù)據(jù)的位置信息，第二中間數(shù)據(jù)包括所述第二表格數(shù)據(jù)中連接運(yùn)算列數(shù)據(jù)和存儲(chǔ)第二表格數(shù)據(jù)中非連接運(yùn)算列數(shù)據(jù)的位置信息，此處所描述的連接運(yùn)算列數(shù)據(jù)指運(yùn)算列數(shù)據(jù)中參與連接運(yùn)算的數(shù)據(jù)；

第一存儲(chǔ)節(jié)點(diǎn)獲取第二存儲(chǔ)節(jié)點(diǎn)的第三中間數(shù)據(jù)的集合，第二存儲(chǔ)節(jié)點(diǎn)包括所述MPPDB中除所述第一存儲(chǔ)節(jié)點(diǎn)外存儲(chǔ)了所述第二表格數(shù)據(jù)的所有存儲(chǔ)節(jié)點(diǎn)，第三中間數(shù)據(jù)包括第二存儲(chǔ)節(jié)點(diǎn)中第二表格數(shù)據(jù)中連接運(yùn)算列數(shù)據(jù)和存儲(chǔ)第二存儲(chǔ)節(jié)點(diǎn)中第二表格數(shù)據(jù)中非連接運(yùn)算列數(shù)據(jù)的位置信息；