[發(fā)明專(zhuān)利]油畫(huà)重構(gòu)網(wǎng)絡(luò)的訓(xùn)練及其圖像重構(gòu)、視頻重構(gòu)方法與設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210891130.3
• 申請(qǐng)日: 2022-07-27
• 公開(kāi)（公告）號(hào): CN115187690A
• 公開(kāi)（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 王傳鵬;李騰飛;盧炬康
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海硬通網(wǎng)絡(luò)科技有限公司
• 主分類(lèi)號(hào): G06T11/00
• 分類(lèi)號(hào): G06T11/00;G06N3/08;G06V10/764;G06V10/82;G06V40/16;G06N3/04;H04N5/262
• 代理公司: 北京品源專(zhuān)利代理有限公司 11332
• 代理人: 楊義

本發(fā)明公開(kāi)了一種油畫(huà)重構(gòu)網(wǎng)絡(luò)的訓(xùn)練及其圖像重構(gòu)、視頻重構(gòu)方法與設(shè)備，該方法包括：獲取內(nèi)容為真實(shí)場(chǎng)景的第一樣本圖像數(shù)據(jù)；獲取內(nèi)容為油畫(huà)的第二樣本圖像數(shù)據(jù)；若第二樣本圖像數(shù)據(jù)收斂于某一年代的油畫(huà)風(fēng)格，則添加新的第二樣本圖像數(shù)據(jù)，以均衡不同年代的油畫(huà)風(fēng)格；以第一樣本圖像數(shù)據(jù)為油畫(huà)內(nèi)容的來(lái)源、第二樣本圖像數(shù)據(jù)為油畫(huà)風(fēng)格的來(lái)源訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)，獲得油畫(huà)重構(gòu)網(wǎng)絡(luò)。均衡不同年代的油畫(huà)風(fēng)格的樣本，可以提高油畫(huà)重構(gòu)網(wǎng)絡(luò)的性能，避免單一年代的油畫(huà)風(fēng)格所帶來(lái)的問(wèn)題，油畫(huà)重構(gòu)網(wǎng)絡(luò)屬于生成對(duì)抗網(wǎng)絡(luò)，其可以將圖像數(shù)據(jù)重構(gòu)至油畫(huà)風(fēng)格，重構(gòu)油畫(huà)風(fēng)格屬于后期處理，大大提高了制作油畫(huà)風(fēng)格的視頻數(shù)據(jù)的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)的技術(shù)領(lǐng)域，尤其涉及一種油畫(huà)重構(gòu)網(wǎng)絡(luò)的訓(xùn)練及其圖像重構(gòu)、視頻重構(gòu)方法與設(shè)備。

背景技術(shù)

在短視頻、廣告等場(chǎng)景中，用戶會(huì)制作各種不同類(lèi)型的視頻數(shù)據(jù)，在錄制原始的視頻數(shù)據(jù)之后，通常會(huì)對(duì)視頻數(shù)據(jù)進(jìn)行后期處理，從而提升視頻數(shù)據(jù)的質(zhì)量。

因某些業(yè)務(wù)需求，部分后期處理是將視頻數(shù)據(jù)的風(fēng)格轉(zhuǎn)換至油畫(huà)風(fēng)格，而目前常用的后期處理是對(duì)視頻數(shù)據(jù)添加濾鏡，將視頻數(shù)據(jù)整體轉(zhuǎn)換至其他風(fēng)格，例如，復(fù)古、膠片、落日，等等。

但是，濾鏡通常是在像素點(diǎn)的顏色值進(jìn)行調(diào)整，并添加其他裝飾使用的元素，效果較為單一，使用多個(gè)濾鏡疊加也難以實(shí)現(xiàn)一些特定油畫(huà)的風(fēng)格，而如果在制作視頻數(shù)據(jù)時(shí)按照特定油畫(huà)的風(fēng)格進(jìn)行設(shè)計(jì)，這會(huì)大大提高制作視頻數(shù)據(jù)的門(mén)檻，導(dǎo)致制作視頻數(shù)據(jù)的耗時(shí)大大延長(zhǎng)，制作視頻數(shù)據(jù)的效率低。

發(fā)明內(nèi)容

本發(fā)明提供了一種油畫(huà)重構(gòu)網(wǎng)絡(luò)的訓(xùn)練及其圖像重構(gòu)、視頻重構(gòu)方法與設(shè)備，以解決如果在視頻數(shù)據(jù)中高效實(shí)現(xiàn)油畫(huà)的風(fēng)格。

根據(jù)本發(fā)明的一方面，提供了一種油畫(huà)重構(gòu)網(wǎng)絡(luò)的訓(xùn)練方法，包括：

獲取內(nèi)容為真實(shí)場(chǎng)景的第一樣本圖像數(shù)據(jù)；

獲取內(nèi)容為油畫(huà)的第二樣本圖像數(shù)據(jù)；

若所述第二樣本圖像數(shù)據(jù)收斂于某一年代的油畫(huà)風(fēng)格，則添加新的第二樣本圖像數(shù)據(jù)，以均衡不同年代的油畫(huà)風(fēng)格；

以所述第一樣本圖像數(shù)據(jù)為油畫(huà)內(nèi)容的來(lái)源、所述第二樣本圖像數(shù)據(jù)為油畫(huà)風(fēng)格的來(lái)源訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)，獲得油畫(huà)重構(gòu)網(wǎng)絡(luò)。

根據(jù)本發(fā)明的另一方面，提供了一種圖像重構(gòu)方法，包括：

加載根據(jù)本發(fā)明任一實(shí)施例所述的方法訓(xùn)練的油畫(huà)重構(gòu)網(wǎng)絡(luò)；

在待重構(gòu)的原始圖像數(shù)據(jù)中檢測(cè)體積上與油畫(huà)風(fēng)格不適配的目標(biāo)元素；

將所述原始圖像數(shù)據(jù)輸入至所述油畫(huà)重構(gòu)網(wǎng)絡(luò)中重構(gòu)為包含油畫(huà)風(fēng)格的候選圖像數(shù)據(jù)；

將所述目標(biāo)元素貼回所述候選圖像數(shù)據(jù)中，得到目標(biāo)圖像數(shù)據(jù)。

根據(jù)本發(fā)明的另一方面，提供了一種視頻重構(gòu)方法，包括：

加載根據(jù)本發(fā)明任一實(shí)施例所述的方法訓(xùn)練的油畫(huà)重構(gòu)網(wǎng)絡(luò)；

獲取內(nèi)容為介紹游戲的原始視頻數(shù)據(jù)，所述原始視頻數(shù)據(jù)中具有多幀原始圖像數(shù)據(jù)，至少部分所述原始圖像數(shù)據(jù)中具有體積上與油畫(huà)風(fēng)格不適配的目標(biāo)元素；

將所述原始圖像數(shù)據(jù)輸入至所述油畫(huà)重構(gòu)網(wǎng)絡(luò)中重構(gòu)為包含油畫(huà)風(fēng)格的候選圖像數(shù)據(jù)；

將所述目標(biāo)元素貼回所述候選圖像數(shù)據(jù)中，得到目標(biāo)圖像數(shù)據(jù)；

在所述原始視頻數(shù)據(jù)中將所述目標(biāo)圖像數(shù)據(jù)替換所述原始圖像數(shù)據(jù)，獲得目標(biāo)視頻數(shù)據(jù)。

根據(jù)本發(fā)明的另一方面，提供了一種電子設(shè)備，所述電子設(shè)備包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，