[發(fā)明專利]運(yùn)動矢量自動生成的視頻編解碼系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710267434.1
• 申請日: 2017-04-21
• 公開（公告）號: CN107105278B
• 公開（公告）日: 2019-10-25
• 發(fā)明（設(shè)計）人: 陳志波
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: H04N19/513
• 分類號: H04N19/513;H04N19/176
• 代理公司: 北京凱特來知識產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種運(yùn)動矢量自動生成的視頻編解碼系統(tǒng)，其特征在于，無需進(jìn)行運(yùn)動矢量預(yù)測和運(yùn)動矢量編碼傳輸，其包括：編碼端與解碼端；其中：

所述編碼端，根據(jù)當(dāng)前參考幀的視頻數(shù)據(jù)內(nèi)容，并基于通過學(xué)習(xí)的方法構(gòu)建的像素級的運(yùn)動光場矢量生成網(wǎng)絡(luò)，來預(yù)測當(dāng)前幀視頻像素的光流信息，再結(jié)合輸入的塊模式信息計算對應(yīng)編碼塊的運(yùn)動矢量，然后，進(jìn)行運(yùn)動補(bǔ)償并計算殘差，最終將編碼的殘差信息傳輸至解碼端；

所述解碼端，將已經(jīng)解碼的視頻幀作為輸入，并采用與編碼端相同的方法預(yù)測相應(yīng)的光流信息，進(jìn)而獲得對應(yīng)解碼塊的運(yùn)動矢量，再利用接收到的殘差信息重建視頻幀；

其中，所述通過學(xué)習(xí)的方法構(gòu)建的像素級的運(yùn)動光場矢量生成網(wǎng)絡(luò)包括：

建立包含多種視頻內(nèi)容類型、運(yùn)動過程和不同壓縮程度的視頻數(shù)據(jù)的數(shù)據(jù)集；計算每一視頻數(shù)據(jù)的光流信息作為訓(xùn)練樣本的標(biāo)簽；

構(gòu)建神經(jīng)網(wǎng)絡(luò)，并以重建生成的當(dāng)前重構(gòu)參考幀作為經(jīng)網(wǎng)絡(luò)輸入進(jìn)行前向傳播預(yù)測光流信息，并根據(jù)訓(xùn)練樣本標(biāo)簽計算損失值，再根據(jù)損失值反向傳播更新參數(shù)，如此反復(fù)迭代多次作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，訓(xùn)練完成的網(wǎng)絡(luò)作為像素級的運(yùn)動光場矢量生成網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的一種運(yùn)動矢量自動生成的視頻編解碼系統(tǒng)，其特征在于，所構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：依次設(shè)置的卷積層、池化層、局部響應(yīng)歸一化層、全連接層以及空間Softmax層；或者，依次設(shè)置的卷積層、池化層、卷積層、反卷積層、剪裁層以及Softmax層。

3.根據(jù)權(quán)利要求1所述的一種運(yùn)動矢量自動生成的視頻編解碼系統(tǒng)，其特征在于，所述編碼端中運(yùn)動矢量的計算公式為：

其中，為第i個塊模式信息對應(yīng)的光流信息，N的大小由塊模式信息決定。