[發(fā)明專利]構(gòu)建多任務(wù)學(xué)習(xí)模型的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010555648.0
• 申請(qǐng)日: 2020-06-17
• 公開(kāi)（公告）號(hào): CN111723910A
• 公開(kāi)（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 陳瀟凱;顧曉光;付立波
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（北京）有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 王花麗;張穎玲

1.一種構(gòu)建多任務(wù)學(xué)習(xí)模型的方法，其特征在于，所述方法包括：

在輸入節(jié)點(diǎn)與多個(gè)任務(wù)節(jié)點(diǎn)之間，通過(guò)將子網(wǎng)絡(luò)層與搜索層交錯(cuò)排布的方式，構(gòu)建由多個(gè)所述子網(wǎng)絡(luò)層以及多個(gè)所述搜索層構(gòu)成的搜索空間；

對(duì)從所述輸入節(jié)點(diǎn)、經(jīng)由所述搜索空間而到達(dá)每個(gè)所述任務(wù)節(jié)點(diǎn)的路徑進(jìn)行采樣，以得到候選路徑，并作為候選網(wǎng)絡(luò)結(jié)構(gòu)；

根據(jù)樣本數(shù)據(jù)，對(duì)所述候選網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)進(jìn)行訓(xùn)練，以生成用于進(jìn)行多個(gè)任務(wù)預(yù)測(cè)的多任務(wù)學(xué)習(xí)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述構(gòu)建由多層的子網(wǎng)絡(luò)層以及多層的搜索層構(gòu)成的搜索空間之前，包括：

對(duì)所述子網(wǎng)絡(luò)層中的多個(gè)子網(wǎng)絡(luò)模塊的輸出進(jìn)行抽樣處理，以獲得多個(gè)子網(wǎng)絡(luò)模塊的輸出；

根據(jù)所述多個(gè)子網(wǎng)絡(luò)模塊中各子網(wǎng)絡(luò)模塊的權(quán)重，對(duì)所述多個(gè)子網(wǎng)絡(luò)模塊的輸出進(jìn)行加權(quán)求和，將加權(quán)求和的結(jié)果作為搜索塊中的局部結(jié)構(gòu)的輸出，以構(gòu)建所述搜索塊中的傳輸路徑，其中，所述搜索塊為與所述子網(wǎng)絡(luò)層相鄰的搜索層中的模塊。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所述搜索塊還包括門(mén)控節(jié)點(diǎn)；

所述對(duì)所述子網(wǎng)絡(luò)層中的多個(gè)子網(wǎng)絡(luò)模塊的輸出進(jìn)行抽樣處理之后，還包括：

從所述子網(wǎng)絡(luò)層的信號(hào)源集合中采樣一個(gè)信號(hào)源，所述信號(hào)源為所述輸入節(jié)點(diǎn)的輸出或所述子網(wǎng)絡(luò)層的前驅(qū)子網(wǎng)絡(luò)模塊的輸出；

通過(guò)所述門(mén)控對(duì)所述信號(hào)源進(jìn)行預(yù)測(cè)處理，得到所述多個(gè)子網(wǎng)絡(luò)模塊中各子網(wǎng)絡(luò)模塊的預(yù)測(cè)值；

對(duì)所述各子網(wǎng)絡(luò)模塊的預(yù)測(cè)值進(jìn)行歸一化處理，得到所述各子網(wǎng)絡(luò)模塊的權(quán)重。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，

所述搜索空間包括N個(gè)子網(wǎng)絡(luò)層以及N個(gè)搜索層，其中，N為大于1的自然數(shù)；

所述構(gòu)建由多層的子網(wǎng)絡(luò)層以及多層的搜索層構(gòu)成的搜索空間之前，包括：

通過(guò)第1搜索層中的第i搜索塊，從第1子網(wǎng)絡(luò)層中采樣出多個(gè)子網(wǎng)絡(luò)模塊的輸出，其中，i為自然數(shù)，并

當(dāng)所述信號(hào)源為所述輸入節(jié)點(diǎn)的輸出時(shí)，根據(jù)所述多個(gè)子網(wǎng)絡(luò)模塊中各子網(wǎng)絡(luò)模塊的權(quán)重，對(duì)所述多個(gè)子網(wǎng)絡(luò)模塊的輸出進(jìn)行加權(quán)求和，將加權(quán)求和的結(jié)果作為第i搜索塊中的局部結(jié)構(gòu)的輸出，以構(gòu)建所述第i搜索塊中的傳輸路徑，直至完成所述第i搜索塊中所有局部結(jié)構(gòu)的傳輸路徑的構(gòu)建；

通過(guò)第j搜索層中的第i搜索塊，從第j子網(wǎng)絡(luò)層中采樣出多個(gè)子網(wǎng)絡(luò)模塊的輸出，其中，1j≤N，j為自然數(shù)，并

當(dāng)所述信號(hào)源為所述輸入節(jié)點(diǎn)或者第j子網(wǎng)絡(luò)層的前驅(qū)子網(wǎng)絡(luò)模塊的輸出時(shí)，根據(jù)所述多個(gè)子網(wǎng)絡(luò)模塊中各子網(wǎng)絡(luò)模塊的權(quán)重，對(duì)所述多個(gè)子網(wǎng)絡(luò)模塊的輸出進(jìn)行加權(quán)求和，將加權(quán)求和的結(jié)果作為第j搜索層中的第i搜索塊中的局部結(jié)構(gòu)的輸出，以構(gòu)建所述第j搜索層中的第i搜索塊中的傳輸路徑，直至完成所述第j搜索層中的第i搜索塊中所有局部結(jié)構(gòu)的傳輸路徑的構(gòu)建。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，

當(dāng)所述搜索層的后驅(qū)節(jié)點(diǎn)為所述子網(wǎng)絡(luò)層中的子網(wǎng)絡(luò)模塊時(shí)，所述搜索層中的搜索塊的輸出為所述子網(wǎng)絡(luò)模塊的輸入；

當(dāng)所述搜索層的后驅(qū)節(jié)點(diǎn)為所述任務(wù)節(jié)點(diǎn)時(shí)，所述搜索層中的搜索塊的輸出為所述任務(wù)節(jié)點(diǎn)的輸入。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述構(gòu)建由多個(gè)所述子網(wǎng)絡(luò)層以及多個(gè)所述搜索層構(gòu)成的搜索空間，包括：

將所述輸入節(jié)點(diǎn)到第一子網(wǎng)絡(luò)層的傳輸路徑、中間的子網(wǎng)絡(luò)層到相鄰的搜索層的傳輸路徑以及最后一個(gè)搜索層到所述任務(wù)節(jié)點(diǎn)的傳輸路徑，作為有向圖的邊；

將多個(gè)所述子網(wǎng)絡(luò)層中的子網(wǎng)絡(luò)模塊以及多個(gè)所述搜索層中的搜索塊，作為所述有向圖的節(jié)點(diǎn)；

對(duì)所述有向圖的節(jié)點(diǎn)以及邊進(jìn)行組合，以構(gòu)建用于多任務(wù)學(xué)習(xí)的搜索空間。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)從所述輸入節(jié)點(diǎn)、經(jīng)由所述搜索空間而到達(dá)每個(gè)所述任務(wù)節(jié)點(diǎn)的路徑進(jìn)行采樣，以得到候選路徑，包括：

根據(jù)所述搜索空間的結(jié)構(gòu)參數(shù)，對(duì)所述搜索空間中搜索層中的每個(gè)搜索塊進(jìn)行采樣，得到對(duì)應(yīng)所述每個(gè)搜索塊的局部結(jié)構(gòu)；

將從所述輸入節(jié)點(diǎn)、經(jīng)由所述每個(gè)搜索塊的局部結(jié)構(gòu)而到達(dá)每個(gè)所述任務(wù)節(jié)點(diǎn)的路徑作為候選路徑。