[發(fā)明專(zhuān)利]基于設(shè)備均衡原理的分布式模型并行設(shè)備分配優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110358526.7
• 申請(qǐng)日: 2021-04-02
• 公開(kāi)（公告）號(hào): CN113052332B
• 公開(kāi)（公告）日: 2023-02-14
• 發(fā)明（設(shè)計(jì)）人: 張澤超;胡冰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大學(xué);之江實(shí)驗(yàn)室
• 主分類(lèi)號(hào): G06N20/20
• 分類(lèi)號(hào): G06N20/20;H04L67/10
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 林超

1.一種基于設(shè)備均衡原理的分布式模型并行設(shè)備分配優(yōu)化方法，其特征在于：方法包括：

對(duì)機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行網(wǎng)絡(luò)模塊劃分；

建立線性規(guī)劃模型，線性規(guī)劃模型中包含了目標(biāo)函數(shù)和約束條件；

根據(jù)機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型各個(gè)網(wǎng)絡(luò)層的計(jì)算量、通信量和內(nèi)存使用量，以最小化目標(biāo)函數(shù)，對(duì)線性規(guī)劃模型求解，得到對(duì)于機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型的最符合設(shè)備均衡原理的分布式模型并行設(shè)備分配結(jié)果；

所述的線性規(guī)劃模型包括目標(biāo)函數(shù)和約束條件，按照以下方式設(shè)置：

目標(biāo)函數(shù)：

其中，B(b)表示網(wǎng)絡(luò)模塊b的模塊均衡因子，b表示網(wǎng)絡(luò)模塊的序號(hào)，CDR(b)表示網(wǎng)絡(luò)模塊b的跨通信通信因子；K表示通信權(quán)重系數(shù)，Goal表示目標(biāo)函數(shù)值；

設(shè)置設(shè)備內(nèi)存約束：

式中，Mem(d)表示單個(gè)訓(xùn)練設(shè)備d的最大內(nèi)存容限；PM(n)表示網(wǎng)絡(luò)層n的參數(shù)內(nèi)存，DM(n)表示網(wǎng)絡(luò)層n的數(shù)據(jù)內(nèi)存，n in d表示網(wǎng)絡(luò)層n分配在訓(xùn)練設(shè)備d上。

2.根據(jù)權(quán)利要求1所述的一種基于設(shè)備均衡原理的分布式模型并行設(shè)備分配優(yōu)化方法，其特征在于：所述的線性規(guī)劃模型中，先設(shè)置包含有優(yōu)化自變量的模型參數(shù)，所述的模型參數(shù)包含了跨設(shè)備通信因子、模塊均衡因子和通信權(quán)重系數(shù)；然后根據(jù)模型參數(shù)建立目標(biāo)函數(shù)。

3.根據(jù)權(quán)利要求2所述的一種基于設(shè)備均衡原理的分布式模型并行設(shè)備分配優(yōu)化方法，其特征在于：所述優(yōu)化自變量，具體為：

機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型中包含多個(gè)網(wǎng)絡(luò)層，使用分布式模型并行的設(shè)備分配方案將機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型中不同的網(wǎng)絡(luò)層分配在不同的訓(xùn)練設(shè)備上，為每個(gè)網(wǎng)絡(luò)層n分配所在的訓(xùn)練設(shè)備序號(hào)，設(shè)置節(jié)點(diǎn)位置NodeLocate(n)作為優(yōu)化自變量，也作為線性規(guī)劃模型的最終輸出，即節(jié)點(diǎn)位置NodeLocate(n)為網(wǎng)絡(luò)模型中不同網(wǎng)絡(luò)層n所在的訓(xùn)練設(shè)備序號(hào)。

4.根據(jù)權(quán)利要求1所述的一種基于設(shè)備均衡原理的分布式模型并行設(shè)備分配優(yōu)化方法，其特征在于：所述的對(duì)機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行網(wǎng)絡(luò)模塊劃分，具體是將機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型內(nèi)部的所有網(wǎng)絡(luò)層分為串行結(jié)構(gòu)和并行結(jié)構(gòu)，將連續(xù)的串行結(jié)構(gòu)劃分到一個(gè)網(wǎng)絡(luò)模塊中，將連續(xù)的并行結(jié)構(gòu)劃分到一個(gè)網(wǎng)絡(luò)模塊中；對(duì)于只存在串行結(jié)構(gòu)或者并行結(jié)構(gòu)的機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型，將所有網(wǎng)絡(luò)層都?xì)w入同一個(gè)網(wǎng)絡(luò)模塊中；對(duì)于包含串行結(jié)構(gòu)和并行結(jié)構(gòu)的多種網(wǎng)絡(luò)結(jié)構(gòu)的機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型，將機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型中的所有網(wǎng)絡(luò)層劃分成多個(gè)網(wǎng)絡(luò)模塊。

5.根據(jù)權(quán)利要求4所述的一種基于設(shè)備均衡原理的分布式模型并行設(shè)備分配優(yōu)化方法，其特征在于：所述的串行結(jié)構(gòu)是指由多個(gè)依次連續(xù)連接的網(wǎng)絡(luò)層構(gòu)成，且多個(gè)依次連續(xù)連接的網(wǎng)絡(luò)層各自均不與其他任一網(wǎng)絡(luò)層具有等同并列關(guān)系；所述的并行結(jié)構(gòu)是指連接在前網(wǎng)絡(luò)層和后網(wǎng)絡(luò)層之間且內(nèi)部具有并列拓?fù)浣Y(jié)構(gòu)的多個(gè)網(wǎng)絡(luò)層，且并行結(jié)構(gòu)包含了后網(wǎng)絡(luò)層以及前網(wǎng)絡(luò)層的各個(gè)輸出分別和對(duì)應(yīng)的網(wǎng)絡(luò)層之間的傳遞；所述的前網(wǎng)絡(luò)層是指具有多個(gè)輸出、且不與其他任一網(wǎng)絡(luò)層具有等同并列關(guān)系的網(wǎng)絡(luò)層；所述的后網(wǎng)絡(luò)層是指具有多個(gè)輸入、且不與其他任一網(wǎng)絡(luò)層具有等同并列關(guān)系的網(wǎng)絡(luò)層。