[發(fā)明專利]視頻數(shù)據(jù)處理方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011562381.4
• 申請(qǐng)日: 2020-12-25
• 公開（公告）號(hào): CN112651880B
• 公開（公告）日: 2022-12-30
• 發(fā)明（設(shè)計(jì)）人: 單鈺皓;張寧;王權(quán)
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06N3/08
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種視頻數(shù)據(jù)處理方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，所述方法包括：獲取待處理視頻數(shù)據(jù)；通過(guò)圖像處理網(wǎng)絡(luò)對(duì)所述待處理視頻數(shù)據(jù)中的每一視頻幀進(jìn)行圖像處理，得到圖像處理后的視頻數(shù)據(jù)；其中，在所述圖像處理網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，通過(guò)確定相同語(yǔ)義的像素點(diǎn)在不同樣本圖像中的不同位置處，采用所述圖像處理網(wǎng)絡(luò)進(jìn)行圖像處理后所產(chǎn)生的差異，訓(xùn)練所述圖像處理網(wǎng)絡(luò)。本公開實(shí)施例可提高圖像處理后的視頻數(shù)據(jù)的穩(wěn)定性。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種視頻數(shù)據(jù)處理方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著科技的發(fā)展和進(jìn)步，對(duì)多媒體數(shù)據(jù)的處理方式越來(lái)越多。例如：可以對(duì)多媒體數(shù)據(jù)進(jìn)行美化、添加特效、添加濾鏡等處理，對(duì)多媒體數(shù)據(jù)處理處理方式的豐富性以及處理質(zhì)量，有著越來(lái)越高的需求。

發(fā)明內(nèi)容

本公開提出了一種用于對(duì)視頻數(shù)據(jù)進(jìn)行圖像處理的技術(shù)方案。

根據(jù)本公開的一方面，提供了一種視頻數(shù)據(jù)處理方法，所述方法包括：

獲取待處理視頻數(shù)據(jù)；通過(guò)圖像處理網(wǎng)絡(luò)對(duì)所述待處理視頻數(shù)據(jù)中的每一視頻幀進(jìn)行圖像處理，得到圖像處理后的視頻數(shù)據(jù)；其中，在所述圖像處理網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，通過(guò)確定相同語(yǔ)義的像素點(diǎn)在不同樣本圖像中的不同位置處，采用所述圖像處理網(wǎng)絡(luò)進(jìn)行圖像處理后所產(chǎn)生的差異，訓(xùn)練所述圖像處理網(wǎng)絡(luò)。

本公開實(shí)施例提供的視頻數(shù)據(jù)處理方法，由于采用的圖像處理網(wǎng)絡(luò)在訓(xùn)練過(guò)程中考慮了具有相同語(yǔ)義的像素點(diǎn)在不同位置，采用所述圖像處理網(wǎng)絡(luò)進(jìn)行圖像處理后所產(chǎn)生的差異，故而訓(xùn)練得到的圖像處理網(wǎng)絡(luò)對(duì)待處理視頻數(shù)據(jù)中的每一視頻幀進(jìn)行圖像處理后，得到的圖像處理后的視頻數(shù)據(jù)的穩(wěn)定性較高，可以緩解圖像處理后的視頻數(shù)據(jù)的閃爍問(wèn)題。

在一種可能的實(shí)現(xiàn)方式中，所述圖像處理網(wǎng)絡(luò)為風(fēng)格化網(wǎng)絡(luò)，所述風(fēng)格化網(wǎng)絡(luò)用于對(duì)待處理視頻數(shù)據(jù)進(jìn)行風(fēng)格化處理，得到風(fēng)格化視頻數(shù)據(jù)，所述風(fēng)格化視頻數(shù)據(jù)的風(fēng)格與所述風(fēng)格化網(wǎng)絡(luò)對(duì)應(yīng)的風(fēng)格相同。

本公開實(shí)施例提供的視頻數(shù)據(jù)處理方法，可以緩解風(fēng)格化網(wǎng)絡(luò)處理得到的風(fēng)格化視頻數(shù)據(jù)的閃爍問(wèn)題，提高風(fēng)格化視頻數(shù)據(jù)的穩(wěn)定性。

在一種可能的實(shí)現(xiàn)方式中，所述方法還包括：對(duì)第一樣本圖像進(jìn)行變換處理，得到第二樣本圖像，其中，所述第二樣本圖像與所述第一樣本圖像中具有相同語(yǔ)義的像素點(diǎn)，在所述第二樣本圖像及所述第一樣本圖像中的位置不同；通過(guò)所述圖像處理網(wǎng)絡(luò)對(duì)所述第一樣本圖像及第二樣本圖像進(jìn)行圖像處理，得到圖像處理后的第一樣本圖像及圖像處理后的第二樣本圖像；對(duì)所述圖像處理后的第二樣本圖像進(jìn)行逆變換處理，得到逆變換圖像；通過(guò)所述逆變換圖像及所述圖像處理后的第一樣本圖像之間的差異，訓(xùn)練所述圖像處理網(wǎng)絡(luò)。

本公開實(shí)施例提供的視頻數(shù)據(jù)處理方法，通過(guò)對(duì)第一樣本圖像進(jìn)行變換處理，可以得到第二樣本圖像，進(jìn)而通過(guò)計(jì)算第一樣本圖像及第二樣本圖像進(jìn)行圖像處理網(wǎng)絡(luò)進(jìn)行處理后，相同語(yǔ)義的像素點(diǎn)進(jìn)行圖像處理后的差異，訓(xùn)練圖像處理網(wǎng)絡(luò)，可以得到穩(wěn)定性較高的圖像處理網(wǎng)絡(luò)。

在一種可能的實(shí)現(xiàn)方式中，所述通過(guò)所述逆變換圖像及所述圖像處理后的第一樣本圖像之間的差異，訓(xùn)練所述圖像處理網(wǎng)絡(luò)，包括：通過(guò)所述第一樣本圖像及所述逆變換圖像得到蒙版圖像；根據(jù)所述圖像處理后的第一樣本圖像、所述逆變換圖像及所述蒙版圖像，確定所述圖像處理網(wǎng)絡(luò)的穩(wěn)定損失，其中，所述穩(wěn)定損失包括所述逆變換圖像及所述圖像處理后的第一樣本圖像之間的差異；根據(jù)所述圖像處理網(wǎng)絡(luò)的穩(wěn)定損失，調(diào)整所述圖像處理網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

本公開實(shí)施例提供的視頻數(shù)據(jù)處理方法，可以通過(guò)蒙版圖像確定逆變換圖像與圖像處理后的第一樣本圖像之間具有相同語(yǔ)義的像素點(diǎn)，進(jìn)而可以通過(guò)計(jì)算這些像素點(diǎn)之間的差異，精準(zhǔn)的得到圖像處理網(wǎng)絡(luò)的穩(wěn)定損失。