[發(fā)明專利]一種基于Tensorflow框架的模型并行方法

在審

• 申請?zhí)枺?/td>: 202010825175.1
• 申請日: 2020-08-17
• 公開（公告）號: CN112070223A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計(jì)）人: 田文洪;謝遠(yuǎn)倫;楊錦濤;許凌霄
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開一種基于Tensorflow框架的模型并行方法，其特征在于，在TensorFlow的模型并行中加入并行優(yōu)化算法，以創(chuàng)新性貪心算法執(zhí)行模型劃分取代原本的隨機(jī)模型劃分；模型并行優(yōu)化算法的策略是找出計(jì)算圖中的關(guān)鍵路徑，然后對執(zhí)行這條路徑的設(shè)備采用以最小完工時(shí)間為目標(biāo)的貪心算法，將關(guān)鍵路徑上的節(jié)點(diǎn)放置于執(zhí)行速度最快的設(shè)備上。將關(guān)鍵路徑放在同一設(shè)備上，可最大限度地減少網(wǎng)絡(luò)傳輸時(shí)延，從而達(dá)到減小任務(wù)完工時(shí)間的目的。為避免計(jì)算關(guān)鍵路徑的復(fù)雜算法和解決單個(gè)設(shè)備內(nèi)存存儲不了整個(gè)關(guān)鍵路徑的問題，同時(shí)還要考慮到長路徑上節(jié)點(diǎn)的重要程度，優(yōu)化算法以節(jié)點(diǎn)的計(jì)算復(fù)雜度排序來估計(jì)關(guān)鍵路徑。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種基于Tensorflow框架的模型并行方法。

背景技術(shù)

自TensorFlow開源發(fā)布框架以來，有關(guān)深度學(xué)習(xí)的學(xué)術(shù)和業(yè)界研究得到了前所未有的發(fā)展，隨著相關(guān)的模型越來越高級，越來越復(fù)雜，分層結(jié)構(gòu)得到的層數(shù)越來越多，神經(jīng)網(wǎng)絡(luò)模型越來越大，逐漸超過單個(gè)設(shè)備內(nèi)存限制，對減少模型訓(xùn)練時(shí)間的需求也與日俱增。然而，TensorFlow對單個(gè)計(jì)算節(jié)點(diǎn)是具有高度限制性的，尤其是隨著數(shù)據(jù)集大小的增加，其限制表現(xiàn)得更為突出，通過分布式并行的方式來提高深度學(xué)習(xí)模型的訓(xùn)練效率和解決單個(gè)設(shè)備對內(nèi)存的限制瓶頸是一種行之有效的方法。因此，亟需一種提解決神經(jīng)網(wǎng)絡(luò)模型過大以致超過超過單個(gè)設(shè)備內(nèi)存限制、同時(shí)減少模型訓(xùn)練時(shí)間的分布式并行算法。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明實(shí)施例提供一種基于Tensorflow框架的模型并行方法。

本發(fā)明實(shí)施例提供一種基于Tensorflow框架的模型并行方法，包括：

并行優(yōu)化算法，實(shí)現(xiàn)算法以創(chuàng)新性貪心算法執(zhí)行模型劃分取代原本的隨機(jī)模型劃分模式。

所述模型并行優(yōu)化算法具有可伸縮性。它使用戶能夠運(yùn)行更大的模型，并通過添加更多設(shè)備使計(jì)算更快完成。

所述模型并行優(yōu)化算法不是簡單地根據(jù)經(jīng)驗(yàn)隨機(jī)對設(shè)備進(jìn)行劃分，其策略是找出計(jì)算圖譜中的關(guān)鍵路徑，然后對執(zhí)行這條路徑的設(shè)備執(zhí)行以最小完工時(shí)間為目標(biāo)的貪心算法，將關(guān)鍵路徑上的節(jié)點(diǎn)放置于執(zhí)行速度最快的設(shè)備上。

模型劃分算法在TensorFlow框架平臺上的具體實(shí)現(xiàn)過程：

輸入：帶有執(zhí)行速度描述s的n個(gè)設(shè)備的集合D，帶有計(jì)算復(fù)雜度描述c的m個(gè)計(jì)算節(jié)點(diǎn)的集合V，計(jì)算圖譜的邊集E。

輸出：一個(gè)m*n維的矩陣O，表示算法最終的解。矩陣中的元素O_i，j表示最終將第j個(gè)節(jié)點(diǎn)放置在第i塊設(shè)備上執(zhí)行，其中，1≤i≤n，1≤j≤m。元素O_i，j的取值只能是1或者0，1表示放置，0表示不放置。

1.根據(jù)給出的計(jì)算節(jié)點(diǎn)的集合V和計(jì)算圖譜的邊集E，計(jì)算出每個(gè)節(jié)點(diǎn)基于來源的排序等級。

2.根據(jù)給出的計(jì)算節(jié)點(diǎn)的集合V和計(jì)算圖譜的邊集E，計(jì)算出每個(gè)節(jié)點(diǎn)基于去向的排序等級。

3.將計(jì)算出來的每個(gè)節(jié)點(diǎn)基于來源的排序等級與基于去向的排序等級求和得到最終的排序等級。

4.對每個(gè)節(jié)點(diǎn)的的最終排序等級進(jìn)行排序。

5.對n個(gè)設(shè)備的集合D進(jìn)行排序。

6.聲明一個(gè)m*n維的矩陣O，每個(gè)元素用來表示節(jié)點(diǎn)放置在哪一個(gè)設(shè)備上執(zhí)行

7.初始化矩陣O為0元素填充。

8.判斷每一個(gè)設(shè)備是否可以存儲和執(zhí)行已經(jīng)排序好的計(jì)算節(jié)點(diǎn)，1表示放置，0表示不放置。

9.當(dāng)所有節(jié)點(diǎn)判斷結(jié)束后，算法執(zhí)行完畢。

所述模型并行優(yōu)化算法是以節(jié)點(diǎn)的計(jì)算復(fù)雜度排序來估計(jì)關(guān)鍵路徑的。