[發(fā)明專利]基于神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)視頻編解碼技術(shù)

在審

• 申請?zhí)枺?/td>: 201910585090.8
• 申請日: 2019-07-01
• 公開（公告）號: CN112188202A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 何剛;李云松;沈八中;蔣昊;吳暢
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: H04N19/172
• 分類號: H04N19/172;H04N19/42;G06T5/00;G06N3/08
• 代理公司: 北京林達(dá)劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

1.一種自學(xué)習(xí)基于神經(jīng)網(wǎng)絡(luò)的視頻編碼裝置，其特征在于，所述裝置包括：

第一編碼模塊，用于對目標(biāo)視頻進(jìn)行壓縮編碼，獲得對應(yīng)所述目標(biāo)視頻的第一碼流數(shù)據(jù)和重建圖像，并將所述第一碼流數(shù)據(jù)發(fā)送至視頻解碼裝置；

第二編碼模塊，用于以所述目標(biāo)視頻所對應(yīng)的原始視頻幀為標(biāo)簽、所述重建圖像為輸入，進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，得到對應(yīng)所述目標(biāo)視頻的修復(fù)神經(jīng)網(wǎng)絡(luò)，并獲取對應(yīng)所述修復(fù)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)信息，將所述神經(jīng)網(wǎng)絡(luò)信息發(fā)送至視頻解碼裝置，以使所述視頻解碼裝置根據(jù)所述神經(jīng)網(wǎng)絡(luò)信息構(gòu)建的修復(fù)神經(jīng)網(wǎng)絡(luò)，對所述第一碼流數(shù)據(jù)解碼得到的重建圖像進(jìn)行修復(fù)，得到所述目標(biāo)視頻的修復(fù)視頻，

其中，所述神經(jīng)網(wǎng)絡(luò)信息包括所述修復(fù)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第二編碼模塊，包括：

訓(xùn)練數(shù)據(jù)組織子模塊，用于對所述目標(biāo)視頻的原始視頻幀和重建圖像數(shù)據(jù)依次進(jìn)行劃分，組織成為多個(gè)訓(xùn)練數(shù)據(jù)單元，每個(gè)訓(xùn)練數(shù)據(jù)單元包括n個(gè)原始視頻幀和對應(yīng)的n個(gè)重建圖像，n為大于零的實(shí)數(shù)；

訓(xùn)練子模塊，用于根據(jù)每個(gè)訓(xùn)練數(shù)據(jù)單元進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，獲得對應(yīng)的每個(gè)訓(xùn)練數(shù)據(jù)單元的修復(fù)神經(jīng)網(wǎng)絡(luò)，并將各個(gè)修復(fù)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)信息發(fā)送至視頻解碼裝置。

3.根據(jù)權(quán)利要求2所述的裝置，其特征在于，所述訓(xùn)練子模塊具體用于：

以第i個(gè)訓(xùn)練數(shù)據(jù)單元的原始視頻幀為標(biāo)簽、重建圖像為輸入，進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，得到對應(yīng)于所述第i個(gè)訓(xùn)練數(shù)據(jù)單元的修復(fù)神經(jīng)網(wǎng)絡(luò)，i為正整數(shù)。

4.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第二編碼模塊，包括：

信息壓縮子模塊，用于在將所述神經(jīng)網(wǎng)絡(luò)信息發(fā)送至視頻解碼裝置之前，采用預(yù)設(shè)的壓縮方式對所述神經(jīng)網(wǎng)絡(luò)信息進(jìn)行壓縮，

其中，所述壓縮方式包括以下任一種：無損壓縮和有損壓縮。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的裝置，其特征在于，所述第一編碼模塊包括編碼器，所述神經(jīng)網(wǎng)絡(luò)信息還包括所述修復(fù)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和/或?qū)?yīng)的訓(xùn)練數(shù)據(jù)單元的數(shù)據(jù)單元信息。

6.一種基于自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的視頻解碼裝置，其特征在于，所述裝置包括：

第一解碼模塊，用于對接收到的視頻編碼裝置發(fā)送的第一碼流數(shù)據(jù)進(jìn)行解碼，得到對應(yīng)目標(biāo)視頻的重建圖像；

第二解碼模塊，用于根據(jù)接收到的所述視頻編碼裝置發(fā)送的神經(jīng)網(wǎng)絡(luò)信息構(gòu)建針對所述目標(biāo)視頻的修復(fù)神經(jīng)網(wǎng)絡(luò)，根據(jù)所述修復(fù)神經(jīng)網(wǎng)絡(luò)對所述重建圖像進(jìn)行修復(fù)，得到所述目標(biāo)視頻的修復(fù)視頻，

其中，所述神經(jīng)網(wǎng)絡(luò)信息包括所述修復(fù)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，

所述修復(fù)神經(jīng)網(wǎng)絡(luò)是所述視頻編碼裝置以所述目標(biāo)視頻的原始視頻幀為標(biāo)簽、對應(yīng)所述原始視頻幀的重建圖像為輸入進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)得到的。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述目標(biāo)視頻的修復(fù)神經(jīng)網(wǎng)絡(luò)包括多個(gè)，每個(gè)修復(fù)神經(jīng)網(wǎng)絡(luò)對應(yīng)于所述目標(biāo)視頻的一個(gè)訓(xùn)練數(shù)據(jù)單元所述訓(xùn)練數(shù)據(jù)單元中包括n個(gè)所述原始視頻幀和對應(yīng)的n個(gè)重建圖像，n為大于零的實(shí)數(shù)，

其中，所述第二解碼模塊，包括：

網(wǎng)絡(luò)構(gòu)建子模塊，用于根據(jù)針對第i個(gè)訓(xùn)練數(shù)據(jù)單元的神經(jīng)網(wǎng)絡(luò)信息，構(gòu)建對應(yīng)于所述第i個(gè)訓(xùn)練數(shù)據(jù)單元的修復(fù)神經(jīng)網(wǎng)絡(luò)，i為正整數(shù)。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第二解碼模塊，還包括：

修復(fù)子模塊，根據(jù)所述第i個(gè)訓(xùn)練數(shù)據(jù)單元的修復(fù)神經(jīng)網(wǎng)絡(luò)，對與所述第i個(gè)訓(xùn)練數(shù)據(jù)單元相對應(yīng)的重建圖像進(jìn)行修復(fù)。

9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第二解碼模塊，包括：

信息解壓子模塊，用于根據(jù)預(yù)設(shè)的壓縮方式，對所述神經(jīng)網(wǎng)絡(luò)信息進(jìn)行解壓，

其中，所述壓縮方式包括以下任一種：無損壓縮和有損壓縮。

10.根據(jù)權(quán)利要求6至9任一項(xiàng)所述的裝置，其特征在于，所述第一解碼模塊包括解碼器，所述神經(jīng)網(wǎng)絡(luò)信息還包括所述修復(fù)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和/或?qū)?yīng)的訓(xùn)練數(shù)據(jù)單元的數(shù)據(jù)單元信息。

11.一種基于自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的視頻編解碼系統(tǒng)，其特征在于，所述系統(tǒng)包括權(quán)利要求1至5任意一項(xiàng)所述的基于自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的視頻編碼裝置和權(quán)利要求6至10任意一項(xiàng)所述的基于自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的視頻解碼裝置。