[發(fā)明專(zhuān)利]一種計(jì)算節(jié)點(diǎn)集群、數(shù)據(jù)聚合方法和相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202111166666.0
• 申請(qǐng)日: 2021-09-30
• 公開(kāi)（公告）號(hào): CN115878311A
• 公開(kāi)（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 李秀橋;潘孝剛;陳強(qiáng);高帥;孫宏偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50;G06F3/06;G06F9/54;G06F12/0877
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 閔晶晶

本申請(qǐng)實(shí)施例公開(kāi)了一種計(jì)算節(jié)點(diǎn)集群、數(shù)據(jù)聚合方法和相關(guān)設(shè)備，用于減小分布式計(jì)算的時(shí)延。本申請(qǐng)實(shí)施例提供的計(jì)算節(jié)點(diǎn)集群，包括多個(gè)計(jì)算節(jié)點(diǎn),多個(gè)計(jì)算節(jié)點(diǎn)中包括聚合計(jì)算節(jié)點(diǎn)；多個(gè)計(jì)算節(jié)點(diǎn)用于共同執(zhí)行待寫(xiě)數(shù)據(jù)的寫(xiě)入操作，多個(gè)計(jì)算節(jié)點(diǎn)中的每個(gè)計(jì)算節(jié)點(diǎn)用于將待寫(xiě)數(shù)據(jù)中的部分?jǐn)?shù)據(jù)寫(xiě)入本地緩存后，返回寫(xiě)成功；聚合計(jì)算節(jié)點(diǎn)用于將多個(gè)計(jì)算節(jié)點(diǎn)中的緩存中存儲(chǔ)的部分?jǐn)?shù)據(jù)聚合為地址連續(xù)的聚合數(shù)據(jù)，并將聚合數(shù)據(jù)寫(xiě)入存儲(chǔ)節(jié)點(diǎn)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種計(jì)算系統(tǒng)、數(shù)據(jù)聚合方法和相關(guān)設(shè)備。

背景技術(shù)

在分布式數(shù)據(jù)計(jì)算系統(tǒng)中，可以將需要訪問(wèn)的數(shù)據(jù)分配至多個(gè)計(jì)算節(jié)點(diǎn)分別進(jìn)行處理，每個(gè)計(jì)算節(jié)點(diǎn)處理部分?jǐn)?shù)據(jù)，但是由于每個(gè)計(jì)算節(jié)點(diǎn)運(yùn)行多個(gè)進(jìn)程進(jìn)行數(shù)據(jù)處理，對(duì)于一個(gè)計(jì)算節(jié)點(diǎn)來(lái)說(shuō)，其中的多個(gè)進(jìn)程所處理的數(shù)據(jù)的地址并不是連續(xù)的，為了提高數(shù)據(jù)寫(xiě)入的效率，需要與其他計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交換，使每個(gè)計(jì)算節(jié)點(diǎn)中的數(shù)據(jù)的地址都是連續(xù)的，這樣計(jì)算節(jié)點(diǎn)就可以將其中的數(shù)據(jù)寫(xiě)入存儲(chǔ)節(jié)點(diǎn)。但是相關(guān)技術(shù)中，只有在計(jì)算節(jié)點(diǎn)與其他計(jì)算節(jié)點(diǎn)交換完數(shù)據(jù)，才能將數(shù)據(jù)寫(xiě)入存儲(chǔ)節(jié)點(diǎn)，這樣，增加了數(shù)據(jù)的訪問(wèn)時(shí)延。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種計(jì)算節(jié)點(diǎn)集群、數(shù)據(jù)聚合方法和相關(guān)設(shè)備，用于減小分布式計(jì)算的時(shí)延。

第一方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算節(jié)點(diǎn)集群，包括多個(gè)計(jì)算節(jié)點(diǎn),多個(gè)計(jì)算節(jié)點(diǎn)中包括聚合計(jì)算節(jié)點(diǎn)；多個(gè)計(jì)算節(jié)點(diǎn)用于共同執(zhí)行待寫(xiě)數(shù)據(jù)的寫(xiě)入操作，多個(gè)計(jì)算節(jié)點(diǎn)中的每個(gè)計(jì)算節(jié)點(diǎn)用于將待寫(xiě)數(shù)據(jù)中的部分?jǐn)?shù)據(jù)寫(xiě)入本地緩存后，返回寫(xiě)成功；聚合計(jì)算節(jié)點(diǎn)用于將多個(gè)計(jì)算節(jié)點(diǎn)中的緩存中存儲(chǔ)的部分?jǐn)?shù)據(jù)聚合為地址連續(xù)的聚合數(shù)據(jù)，并將聚合數(shù)據(jù)寫(xiě)入存儲(chǔ)節(jié)點(diǎn)。

在本申請(qǐng)實(shí)施例中，計(jì)算節(jié)點(diǎn)返回寫(xiě)成功，就完成了對(duì)應(yīng)部分?jǐn)?shù)據(jù)的輸入輸出(input output，IO)，從而可以進(jìn)行其他數(shù)據(jù)的處理。相較于傳統(tǒng)的數(shù)據(jù)聚合方法中，只有完成了數(shù)據(jù)聚合得到連續(xù)的聚合數(shù)據(jù)，IO才完成，各計(jì)算節(jié)點(diǎn)才能進(jìn)行其他數(shù)據(jù)的處理；本申請(qǐng)實(shí)施例實(shí)現(xiàn)了IO與數(shù)據(jù)聚合的解耦，在數(shù)據(jù)聚合的過(guò)程中，IO已完成，計(jì)算節(jié)點(diǎn)可以進(jìn)行其他數(shù)據(jù)的處理，從而在數(shù)據(jù)聚合的過(guò)程中釋放了IO所占用的CPU的運(yùn)算、內(nèi)存等資源，提升了CPU資源的利用率，并且提升了數(shù)據(jù)處理的效率。

若需要執(zhí)行多個(gè)待寫(xiě)數(shù)據(jù)的寫(xiě)入操作，即需要進(jìn)行多個(gè)輪次的IO和數(shù)據(jù)聚合，則每個(gè)計(jì)算節(jié)點(diǎn)需要寫(xiě)入多個(gè)待寫(xiě)數(shù)據(jù)的部分?jǐn)?shù)據(jù)(數(shù)據(jù)塊)，聚合計(jì)算節(jié)點(diǎn)需要進(jìn)行多次數(shù)據(jù)聚合(IO1、對(duì)IO1中數(shù)據(jù)塊的聚合、IO2、對(duì)IO2中數(shù)據(jù)塊的聚合、……)；將IO與數(shù)據(jù)聚合解耦，在聚合計(jì)算節(jié)點(diǎn)進(jìn)行前一次數(shù)據(jù)聚合的過(guò)程中，各計(jì)算節(jié)點(diǎn)可以進(jìn)行下一次數(shù)據(jù)聚合所對(duì)應(yīng)的IO(例如對(duì)IO1中數(shù)據(jù)塊進(jìn)行聚合的同時(shí)，可以進(jìn)行IO2)，實(shí)現(xiàn)了不同輪次的IO與數(shù)據(jù)聚合的并行，減小了計(jì)算節(jié)點(diǎn)等待的時(shí)延，從而減小了執(zhí)行多個(gè)待寫(xiě)數(shù)據(jù)的寫(xiě)入操作的時(shí)延。

在一種可選的實(shí)施方式中，計(jì)算節(jié)點(diǎn)集群包括至少兩個(gè)聚合計(jì)算節(jié)點(diǎn)，至少兩個(gè)聚合計(jì)算節(jié)點(diǎn)中的每個(gè)聚合計(jì)算節(jié)點(diǎn)，用于聚合待寫(xiě)入數(shù)據(jù)中的部分?jǐn)?shù)據(jù)塊，并且部分?jǐn)?shù)據(jù)塊的地址連續(xù)。每個(gè)聚合計(jì)算節(jié)點(diǎn)在聚合部分?jǐn)?shù)據(jù)塊時(shí)，具體用于：確定本聚合計(jì)算節(jié)點(diǎn)所聚合的數(shù)據(jù)塊是否在聚合計(jì)算節(jié)點(diǎn)本地，若不在本地，則確定數(shù)據(jù)塊所在的計(jì)算節(jié)點(diǎn)，并從確定的計(jì)算節(jié)點(diǎn)的緩存中獲取數(shù)據(jù)塊，并將獲取的數(shù)據(jù)塊與本聚合計(jì)算節(jié)點(diǎn)中的數(shù)據(jù)塊聚合。

在本申請(qǐng)實(shí)施例中，聚合計(jì)算節(jié)點(diǎn)可以確定聚合的數(shù)據(jù)塊所在的計(jì)算節(jié)點(diǎn)，并從該計(jì)算節(jié)點(diǎn)獲取對(duì)應(yīng)的數(shù)據(jù)塊，實(shí)現(xiàn)了跨節(jié)點(diǎn)的數(shù)據(jù)塊的聚合。

在一種可選的實(shí)施方式中，每個(gè)聚合計(jì)算節(jié)點(diǎn)在聚合部分?jǐn)?shù)據(jù)塊時(shí)，具體用于：確定本聚合計(jì)算節(jié)點(diǎn)所聚合的數(shù)據(jù)塊是否在本地，若在本地，則從本地緩存中獲取數(shù)據(jù)塊，并實(shí)現(xiàn)數(shù)據(jù)塊的聚合。

在本申請(qǐng)實(shí)施例中，聚合計(jì)算節(jié)點(diǎn)實(shí)現(xiàn)了本節(jié)點(diǎn)的數(shù)據(jù)塊的聚合。