[發(fā)明專利]一種面向CPU/GPU異構(gòu)集群的數(shù)據(jù)流編程方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710499328.6
• 申請(qǐng)日: 2017-06-26
• 公開(kāi)（公告）號(hào): CN107329828B
• 公開(kāi)（公告）日: 2019-10-08
• 發(fā)明（設(shè)計(jì)）人: 于俊清;楊瑞瑞;唐九飛
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F9/38
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 李智;曹葆青

1.一種面向CPU/GPU異構(gòu)集群的數(shù)據(jù)流編程方法，其特征在于，包括以下步驟：

(1)利用數(shù)據(jù)流程序得到同步數(shù)據(jù)流圖，即SDF圖，對(duì)SDF圖進(jìn)行層次性二級(jí)任務(wù)劃分與調(diào)度，得到SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的CPU核或GPU的映射；

(2)根據(jù)SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的CPU核或GPU的映射，對(duì)每個(gè)任務(wù)單元設(shè)置階段號(hào)，得到任務(wù)單元的執(zhí)行順序；

(3)異構(gòu)集群節(jié)點(diǎn)之間以生產(chǎn)者/消費(fèi)者模式為基礎(chǔ)，與MPI接口保持一致，將每個(gè)異構(gòu)集群節(jié)點(diǎn)以分布式存儲(chǔ)和共享存儲(chǔ)相結(jié)合的方式，構(gòu)造CPU和GPU共享存儲(chǔ)空間，得到異構(gòu)集群多任務(wù)數(shù)據(jù)通信模型；

(4)利用SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的CPU核或GPU的映射和異構(gòu)集群多任務(wù)數(shù)據(jù)通信模型，得到任務(wù)單元之間的數(shù)據(jù)通信，根據(jù)任務(wù)單元的執(zhí)行順序和任務(wù)單元之間的數(shù)據(jù)通信得到數(shù)據(jù)流程序的目標(biāo)代碼。

2.根據(jù)權(quán)利要求1所述的一種面向CPU/GPU異構(gòu)集群的數(shù)據(jù)流編程方法，其特征在于，所述步驟(1)的具體實(shí)現(xiàn)方式：

對(duì)數(shù)據(jù)流程序進(jìn)行詞法分析和語(yǔ)法分析后得到的SDF圖，對(duì)SDF圖進(jìn)行進(jìn)程級(jí)任務(wù)劃分，得到SDF子圖，SDF子圖反映SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的映射，對(duì)SDF子圖進(jìn)行線程級(jí)任務(wù)劃分，得到SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的CPU核或GPU的映射。

3.根據(jù)權(quán)利要求2所述的一種面向CPU/GPU異構(gòu)集群的數(shù)據(jù)流編程方法，其特征在于，所述進(jìn)程級(jí)任務(wù)劃分的具體實(shí)現(xiàn)方式為：

將SDF圖的每個(gè)任務(wù)單元預(yù)處理為一個(gè)獨(dú)立的粗化group；根據(jù)相鄰group粗化收益，進(jìn)行粗粒度劃分直到劃分粗化圖個(gè)數(shù)等于異構(gòu)集群節(jié)點(diǎn)個(gè)數(shù)；利用細(xì)粒度邊界調(diào)整粗化圖，生成的無(wú)環(huán)子圖為SDF子圖。

4.根據(jù)權(quán)利要求2所述的一種面向CPU/GPU異構(gòu)集群的數(shù)據(jù)流編程方法，其特征在于，所述線程級(jí)任務(wù)劃分的具體實(shí)現(xiàn)方式為：

對(duì)SDF子圖進(jìn)行任務(wù)單元融合和邊界調(diào)整，得到SDF子圖劃分后的凸子圖，進(jìn)而得到凸子圖到異構(gòu)集群節(jié)點(diǎn)的CPU核或GPU的映射，利用凸子圖與任務(wù)單元的映射關(guān)系，得到SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的CPU核或GPU的映射。

5.根據(jù)權(quán)利要求2所述的一種面向CPU/GPU異構(gòu)集群的數(shù)據(jù)流編程方法，其特征在于，所述設(shè)置階段號(hào)的具體實(shí)現(xiàn)方式為：

遍歷異構(gòu)集群節(jié)點(diǎn)根據(jù)進(jìn)程級(jí)任務(wù)劃分獲取的SDF子圖；對(duì)SDF子圖的任務(wù)單元集合進(jìn)行拓?fù)渑判颍x擇對(duì)應(yīng)的階段賦值函數(shù)設(shè)置每個(gè)任務(wù)單元的階段號(hào)。

6.一種面向CPU/GPU異構(gòu)集群的數(shù)據(jù)流編程系統(tǒng)，其特征在于，包括以下模塊：

二級(jí)任務(wù)劃分與調(diào)度模塊，用于利用數(shù)據(jù)流程序得到同步數(shù)據(jù)流圖，即SDF圖，對(duì)SDF圖進(jìn)行層次性二級(jí)任務(wù)劃分與調(diào)度，得到SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的CPU核或GPU的映射；

設(shè)置階段號(hào)模塊，用于根據(jù)SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的CPU核或GPU的映射，對(duì)每個(gè)任務(wù)單元設(shè)置階段號(hào)，得到任務(wù)單元的執(zhí)行順序；

數(shù)據(jù)通信模塊，用于在異構(gòu)集群節(jié)點(diǎn)之間以生產(chǎn)者/消費(fèi)者模式為基礎(chǔ)，與MPI接口保持一致，將每個(gè)異構(gòu)集群節(jié)點(diǎn)以分布式存儲(chǔ)和共享存儲(chǔ)相結(jié)合的方式，構(gòu)造CPU和GPU共享存儲(chǔ)空間，得到異構(gòu)集群多任務(wù)數(shù)據(jù)通信模型；

目標(biāo)代碼模塊，用于利用SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的CPU核或GPU的映射和異構(gòu)集群多任務(wù)數(shù)據(jù)通信模型，得到任務(wù)單元之間的數(shù)據(jù)通信，根據(jù)任務(wù)單元的執(zhí)行順序和任務(wù)單元之間的數(shù)據(jù)通信得到數(shù)據(jù)流程序的目標(biāo)代碼。

7.根據(jù)權(quán)利要求6所述的一種面向CPU/GPU異構(gòu)集群的數(shù)據(jù)流編程系統(tǒng)，其特征在于，所述二級(jí)任務(wù)劃分與調(diào)度模塊的具體實(shí)現(xiàn)方式：

對(duì)數(shù)據(jù)流程序進(jìn)行詞法分析和語(yǔ)法分析后得到的SDF圖，對(duì)SDF圖進(jìn)行進(jìn)程級(jí)任務(wù)劃分，得到SDF子圖，SDF子圖反映SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的映射，對(duì)SDF子圖進(jìn)行線程級(jí)任務(wù)劃分，得到SDF圖中任務(wù)單元到異構(gòu)集群節(jié)點(diǎn)的CPU核或GPU的映射。