[發(fā)明專(zhuān)利]數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算方法和系統(tǒng)

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201110209045.6
• 申請(qǐng)日: 2011-07-25
• 公開(kāi)（公告）號(hào): CN102393851A
• 公開(kāi)（公告）日: 2012-03-28
• 發(fā)明（設(shè)計(jì)）人: 朱定局;李朝暉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院;北京大學(xué)
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;H04L12/56
• 代理公司: 廣州華進(jìn)聯(lián)合專(zhuān)利商標(biāo)代理有限公司 44224
• 代理人: 吳平

【技術(shù)領(lǐng)域】

本發(fā)明涉及大量數(shù)據(jù)處理，尤其是涉及一種數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算方法和系統(tǒng)。

【背景技術(shù)】

在對(duì)大量數(shù)據(jù)處理時(shí)，可以將數(shù)據(jù)分割成多個(gè)較小的數(shù)據(jù)塊，分別同時(shí)由多個(gè)處理單元并行處理，然后將處理后的結(jié)果匯總，可以大大提高數(shù)據(jù)處理效率。

傳統(tǒng)的并行處理中，多個(gè)相鄰數(shù)據(jù)塊之間需要互通有無(wú)，由于相鄰數(shù)據(jù)塊之間的通信，所需數(shù)據(jù)尚未到達(dá)時(shí)，會(huì)造成并行進(jìn)程的等待，降低并行處理的效率。

【發(fā)明內(nèi)容】

基于此，有必要提供一種能夠提高并行處理效率的數(shù)據(jù)并行處理方法。

一種數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算方法，包括如下步驟：將待處理的母數(shù)據(jù)分割成多個(gè)子塊數(shù)據(jù)，其中每個(gè)子塊數(shù)據(jù)冗余存儲(chǔ)與之相鄰的子塊數(shù)據(jù)中的邊界數(shù)據(jù)；將多個(gè)子塊數(shù)據(jù)進(jìn)行并行處理。

優(yōu)選地，所述將待處理的母數(shù)據(jù)分割成多個(gè)子塊數(shù)據(jù)的步驟中，對(duì)母數(shù)據(jù)采用冗余切割，使切割后的子塊數(shù)據(jù)包含冗余的邊界數(shù)據(jù)。

優(yōu)選地，所述將待處理的母數(shù)據(jù)分割成多個(gè)子塊數(shù)據(jù)的步驟具體包括：將母數(shù)據(jù)進(jìn)行無(wú)冗余切割；相鄰的子塊數(shù)據(jù)之間相互獲取邊界數(shù)據(jù)并進(jìn)行冗余存儲(chǔ)。

優(yōu)選地，所示并行處理是并行計(jì)算、分布式計(jì)算、網(wǎng)絡(luò)計(jì)算、網(wǎng)格計(jì)算、云計(jì)算或海計(jì)算的子步驟。

此外還提供一種數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算系統(tǒng)。

一種數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算系統(tǒng)，包括：數(shù)據(jù)分割模塊，用于將母數(shù)據(jù)進(jìn)行冗余切割，使每個(gè)子塊數(shù)據(jù)冗余存儲(chǔ)與之相鄰的子塊數(shù)據(jù)中的邊界數(shù)據(jù)；并行處理單元，用于接受調(diào)度，并行處理子塊數(shù)據(jù)。

優(yōu)選地，所述并行處理單元用于進(jìn)行并行計(jì)算、分布式計(jì)算、網(wǎng)絡(luò)計(jì)算、網(wǎng)格計(jì)算、云計(jì)算或海計(jì)算。

以及一種數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算系統(tǒng)，包括：數(shù)據(jù)分割模塊，用于將母數(shù)據(jù)進(jìn)行無(wú)冗余切割；數(shù)據(jù)交換模塊，用于將相鄰的子塊數(shù)據(jù)的邊界數(shù)據(jù)相互交換并進(jìn)行冗余存儲(chǔ)；并行處理單元，用于接受調(diào)度，并行處理子塊數(shù)據(jù)。

優(yōu)選地，所述并行處理單元用于進(jìn)行并行計(jì)算、分布式計(jì)算、網(wǎng)絡(luò)計(jì)算、網(wǎng)格計(jì)算、云計(jì)算或海計(jì)算。

上述數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算方法和系統(tǒng)，由于子塊數(shù)據(jù)冗余存儲(chǔ)了并行處理時(shí)所需的其他子塊數(shù)據(jù)的邊界數(shù)據(jù)，在并行處理時(shí)不需要從其他子塊數(shù)據(jù)獲得，因此可以節(jié)約數(shù)據(jù)傳輸時(shí)等待的時(shí)間，提高并行處理的效率。

【附圖說(shuō)明】

圖1為一實(shí)施例的數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算方法流程圖；

圖2為傳統(tǒng)的數(shù)據(jù)分割示意圖；

圖3為圖1實(shí)施例的數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算方法的分割示意圖；

圖4為一實(shí)施例的數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算系統(tǒng)模塊圖；

圖5為另一實(shí)施例的數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算系統(tǒng)模塊圖。

【具體實(shí)施方式】

如圖1所示，為一實(shí)施例的數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算方法流程圖。該數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算方法包括如下步驟：

S100：將待處理的母數(shù)據(jù)分割成多個(gè)子塊數(shù)據(jù)。母數(shù)據(jù)分割成的多個(gè)子塊數(shù)據(jù)冗余存儲(chǔ)與之相鄰的子塊數(shù)據(jù)中的邊界數(shù)據(jù)。其中母數(shù)據(jù)是數(shù)據(jù)并行處理中單次處理需要較長(zhǎng)處理時(shí)間的數(shù)據(jù)，子塊數(shù)據(jù)是單次處理較為簡(jiǎn)單因此耗時(shí)較短的數(shù)據(jù)。邊界數(shù)據(jù)是指對(duì)于相鄰的子塊數(shù)據(jù)來(lái)說(shuō)，并行處理時(shí)都需要用到的數(shù)據(jù)。

母數(shù)據(jù)切割得到的子塊數(shù)據(jù)，各自被并行處理單元處理所需的時(shí)間應(yīng)該基本相同，以使并行處理后能夠以最快的速度得到最終結(jié)果，盡量避免并行處理單元的等待。

如圖2所示，為傳統(tǒng)的數(shù)據(jù)分割示意圖。母數(shù)據(jù)10被分割成多個(gè)子塊數(shù)據(jù)20，其中每個(gè)子塊數(shù)據(jù)20都有邊界數(shù)據(jù)30。其中，相鄰的子塊數(shù)據(jù)20在并行處理時(shí)，需要互相獲取邊界數(shù)據(jù)30。

如圖3所示，為本實(shí)施例的數(shù)據(jù)區(qū)域重疊的邊界數(shù)據(jù)零通信并行計(jì)算方法的分割示意圖。以相鄰的兩個(gè)子塊數(shù)據(jù)202、204說(shuō)明冗余存儲(chǔ)。傳統(tǒng)的分割方式中，子塊數(shù)據(jù)202具有邊界數(shù)據(jù)a，子塊數(shù)據(jù)204具有邊界數(shù)據(jù)b。本實(shí)施例中，子塊數(shù)據(jù)202冗余存儲(chǔ)邊界數(shù)據(jù)b，子塊數(shù)據(jù)204冗余存儲(chǔ)邊界數(shù)據(jù)a。即子塊數(shù)據(jù)202、204均包括邊界數(shù)據(jù)a、b。邊界數(shù)據(jù)a、b在子塊數(shù)據(jù)202、204各自對(duì)應(yīng)并行處理中都要用到。

實(shí)現(xiàn)上述冗余存儲(chǔ)的方式包括：冗余切割和無(wú)冗余切割后的數(shù)據(jù)交換。