[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、生成圖像及視頻的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110602135.5
• 申請(qǐng)日: 2021-05-31
• 公開(kāi)（公告）號(hào): CN113326934A
• 公開(kāi)（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 魯超
• 申請(qǐng)（專利權(quán)）人: 上海嗶哩嗶哩科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06T5/00
• 代理公司: 北京市漢坤律師事務(wù)所 11602
• 代理人: 魏小薇;吳麗麗

1.一種由計(jì)算機(jī)實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，其中，所述神經(jīng)網(wǎng)絡(luò)包括圖像生成網(wǎng)絡(luò)和圖像修復(fù)網(wǎng)絡(luò)，所述方法包括：

獲取樣本源圖像和樣本參考圖像，其中，所述樣本源圖像中包括樣本源對(duì)象，所述樣本參考圖像中包括樣本參考對(duì)象；

將所述樣本源圖像和所述樣本參考圖像輸入所述圖像生成網(wǎng)絡(luò)，獲得所述圖像生成網(wǎng)絡(luò)輸出的預(yù)測(cè)生成圖像，其中，所述預(yù)測(cè)生成圖像中包括所述樣本源對(duì)象，并且所述預(yù)測(cè)生成圖像中的所述樣本源對(duì)象的姿態(tài)與所述樣本參考圖像中的所述樣本參考對(duì)象的姿態(tài)一致；

將所述預(yù)測(cè)生成圖像輸入所述圖像修復(fù)網(wǎng)絡(luò)，獲得所述圖像修復(fù)網(wǎng)絡(luò)輸出的針對(duì)所述預(yù)測(cè)生成圖像的預(yù)測(cè)修復(fù)圖像；

基于所述樣本參考圖像和所述預(yù)測(cè)修復(fù)圖像來(lái)確定損失值；以及

基于所述損失值來(lái)調(diào)整所述圖像修復(fù)網(wǎng)絡(luò)的參數(shù)。

2.如權(quán)利要求1所述的方法，其中，所述樣本源圖像和所述樣本參考圖像為針對(duì)同一個(gè)對(duì)象的視頻中的不同圖像幀。

3.如權(quán)利要求1所述的方法，還包括：構(gòu)建樣本視頻集合，所述樣本視頻集合包括多個(gè)樣本視頻，每一個(gè)樣本視頻對(duì)應(yīng)于一個(gè)對(duì)象；

其中，所述樣本源圖像和所述樣本參考圖像為所述樣本視頻集合中的針對(duì)同一個(gè)對(duì)象的樣本視頻中的不同圖像幀。

4.如權(quán)利要求3所述的方法，其中，所述構(gòu)建樣本視頻集合包括：

獲取多個(gè)原始視頻；

對(duì)于所述多個(gè)原始視頻中的每一個(gè)原始視頻，執(zhí)行以下操作：

對(duì)該原始視頻中的每個(gè)圖像幀進(jìn)行對(duì)象檢測(cè)；以及

去除該原始視頻中的不包括對(duì)象的圖像幀，以得到樣本視頻。

5.如權(quán)利要求3或4所述的方法，其中，所述構(gòu)建樣本視頻集合還包括：將所述樣本視頻的時(shí)長(zhǎng)調(diào)整為預(yù)設(shè)時(shí)長(zhǎng)。

6.如權(quán)利要求3-5中任一項(xiàng)所述的方法，其中，所述構(gòu)建樣本視頻集合還包括：將所述樣本視頻的圖像幀的尺寸調(diào)整為預(yù)設(shè)尺寸。

7.如權(quán)利要求1-6中任一項(xiàng)所述的方法，其中，所述圖像生成網(wǎng)絡(luò)和所述圖像修復(fù)網(wǎng)絡(luò)中的至少一個(gè)包括生成對(duì)抗網(wǎng)絡(luò)。

8.如權(quán)利要求1-7中任一項(xiàng)所述的方法，其中，所述圖像生成網(wǎng)絡(luò)采用樣本生成源圖像和樣本生成參考圖像訓(xùn)練得到，所述樣本生成源圖像和所述樣本生成參考圖像為針對(duì)同一個(gè)對(duì)象的視頻中的不同圖像幀。

9.一種利用神經(jīng)網(wǎng)絡(luò)生成圖像的方法，其中，所述神經(jīng)網(wǎng)絡(luò)為根據(jù)權(quán)利要求1-8中任一項(xiàng)所述的訓(xùn)練方法進(jìn)行訓(xùn)練來(lái)得到，所述神經(jīng)網(wǎng)絡(luò)包括圖像生成網(wǎng)絡(luò)和圖像修復(fù)網(wǎng)絡(luò)，所述方法包括：

將源圖像和參考圖像輸入所述圖像生成網(wǎng)絡(luò)，獲得所述圖像生成網(wǎng)絡(luò)輸出的生成圖像，其中，所述源圖像中包括源對(duì)象，所述參考圖像中包括參考對(duì)象，所述生成圖像中包括所述源對(duì)象，并且所述生成圖像中的所述源對(duì)象的姿態(tài)與所述參考圖像中的所述參考對(duì)象的姿態(tài)一致；

將所述生成圖像輸入所述圖像修復(fù)網(wǎng)絡(luò)，獲得所述圖像修復(fù)網(wǎng)絡(luò)輸出的針對(duì)所述生成圖像的修復(fù)圖像；以及

將所述修復(fù)圖像作為結(jié)果圖像。

10.一種利用神經(jīng)網(wǎng)絡(luò)生成視頻的方法，其中，所述神經(jīng)網(wǎng)絡(luò)為根據(jù)權(quán)利要求1-8中任一項(xiàng)所述的訓(xùn)練方法進(jìn)行訓(xùn)練來(lái)得到，所述神經(jīng)網(wǎng)絡(luò)包括圖像生成網(wǎng)絡(luò)和圖像修復(fù)網(wǎng)絡(luò)，所述方法包括：

獲取源圖像和參考視頻，其中，所述源圖像中包括源對(duì)象，所述參考視頻包括多個(gè)參考圖像幀，每個(gè)參考圖像幀中包括參考對(duì)象；

對(duì)于所述多個(gè)參考圖像幀中的每一個(gè)參考圖像幀，執(zhí)行以下操作：

將所述源圖像和該參考圖像幀輸入所述圖像生成網(wǎng)絡(luò)，獲得所述圖像生成網(wǎng)絡(luò)輸出的生成圖像，其中，所述生成圖像中包括所述源對(duì)象，并且所述生成圖像中的所述源對(duì)象的姿態(tài)與所述參考圖像幀中的所述參考對(duì)象的姿態(tài)一致；以及

將所述生成圖像輸入所述圖像修復(fù)網(wǎng)絡(luò)，獲得所述圖像修復(fù)網(wǎng)絡(luò)輸出的針對(duì)所述生成圖像的修復(fù)圖像；以及

將所述多個(gè)參考圖像幀各自對(duì)應(yīng)的多個(gè)修復(fù)圖像進(jìn)行拼接，生成結(jié)果視頻。