[發(fā)明專利]一種基于深度學(xué)習(xí)的視頻壓縮方法

有效

• 申請?zhí)枺?/td>: 202010090527.3
• 申請日: 2020-02-13
• 公開（公告）號(hào): CN111294604B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 馮落落;李銳;金長新
• 申請（專利權(quán)）人: 山東新一代信息產(chǎn)業(yè)技術(shù)研究院有限公司
• 主分類號(hào): H04N19/91
• 分類號(hào): H04N19/91;H04N19/172;H04N19/124;H04N19/42;H04N19/51;H04N19/44;G06N3/08;G06N3/04
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 孫園園

1.一種基于深度學(xué)習(xí)的視頻壓縮方法，其特征在于，該方法是使用由光流網(wǎng)絡(luò)、運(yùn)動(dòng)向量編碼網(wǎng)絡(luò)及運(yùn)動(dòng)向量解碼網(wǎng)絡(luò)組成的Spynet運(yùn)動(dòng)估計(jì)網(wǎng)絡(luò)進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償計(jì)算，達(dá)到更好的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償效果；再使用的殘差網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)包括兩個(gè)Resblock模塊，實(shí)現(xiàn)在層次更深的情況進(jìn)行網(wǎng)絡(luò)的訓(xùn)練；再使用算術(shù)熵編碼操作完成編碼，并存儲(chǔ)為Pickle文件，實(shí)現(xiàn)視頻的壓縮和存儲(chǔ)，同時(shí)實(shí)現(xiàn)以更小的存儲(chǔ)，獲得更好的視頻還原效果；該方法具體如下：

S1、視頻拆分成每一幀圖片，輸入當(dāng)前幀圖片x_t和上一幀的重構(gòu)圖片到光流網(wǎng)絡(luò)，獲得當(dāng)前幀的運(yùn)動(dòng)向量v_t；

S2、把運(yùn)動(dòng)向量v_t通過運(yùn)動(dòng)向量編碼網(wǎng)絡(luò)進(jìn)行編碼，獲得編碼后的結(jié)果m_t；

S3、對m_t進(jìn)行量化Q得到量化后的結(jié)果確保使用熵編碼對m_t進(jìn)行存儲(chǔ)；

S4、把作為當(dāng)前幀的所需要存儲(chǔ)的內(nèi)容之一，再把通過運(yùn)動(dòng)向量解碼網(wǎng)絡(luò)或者當(dāng)前幀x_t的重構(gòu)運(yùn)動(dòng)向量

S5、把和上一幀的重構(gòu)圖片輸入到運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)獲得當(dāng)前幀的預(yù)測幀

S6、使用真實(shí)幀x_t和預(yù)測幀進(jìn)行相減，獲得預(yù)測幀不包括的殘差信息r_t；

S7、使用殘差編碼網(wǎng)絡(luò)對殘差信息r_t進(jìn)行編碼、量化Q、熵編碼及存儲(chǔ)，再使用殘差解碼網(wǎng)絡(luò)解碼殘差信息r_t獲得殘差的重構(gòu)結(jié)果

S8、把殘差的重構(gòu)結(jié)果和預(yù)測幀相加獲得最終的重構(gòu)幀

其中，解碼包括I幀的視頻解碼和P幀的視頻解碼；

I幀的視頻解碼具體如下：

(Ⅰ)、對于當(dāng)前幀是I幀的解碼，直接對I幀的pickle文件使用算術(shù)熵編碼進(jìn)行解碼；

(Ⅱ)、解碼后的文件進(jìn)行反量化，使用深度圖像解碼網(wǎng)絡(luò)gb獲得I幀的重構(gòu)圖；其中，深度圖像解碼網(wǎng)絡(luò)gb使用一個(gè)三層的神經(jīng)網(wǎng)絡(luò)，每一層包括一個(gè)反卷積、一個(gè)上采樣和一個(gè)IGDN激活函數(shù)；

P幀的視頻解碼具體如下：

(ⅰ)、對于當(dāng)前幀是P幀的解碼，使用算術(shù)熵編碼殘差信息和運(yùn)動(dòng)估計(jì)信息分別進(jìn)行解碼獲得量化后的殘差編碼和量化后的光流編碼；

(ⅱ)、使用殘差解碼網(wǎng)絡(luò)中的2個(gè)block塊，對量化后的參加編碼進(jìn)行解碼獲得殘差的重構(gòu)結(jié)果；

(ⅲ)、使用深度圖像解碼網(wǎng)絡(luò)gb對量化后的光流編碼進(jìn)行解碼，解碼的結(jié)果和上一幀的重構(gòu)圖片一起利用運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)獲得當(dāng)前幀的預(yù)測幀，預(yù)測幀和殘差直接相加，獲得當(dāng)前幀的重構(gòu)幀。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的視頻壓縮方法，其特征在于，所述運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)是把當(dāng)前幀的運(yùn)動(dòng)向量和上一幀的重構(gòu)圖片進(jìn)行warping操作后的結(jié)果w(x_t-1,v_t)作為輸入得到當(dāng)前幀的預(yù)測幀

運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)由conv卷積操作、pooling池化操作和Residual殘差塊組成。

3.根據(jù)權(quán)利要求1或2所述的基于深度學(xué)習(xí)的視頻壓縮方法，其特征在于，所述編碼包括I幀的視頻編碼和P幀的視頻編碼。

4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的視頻壓縮方法，其特征在于，所述I幀的視頻編碼具體如下：

(1)、對I幀使用幀內(nèi)壓縮，使用深度圖像壓縮進(jìn)行實(shí)現(xiàn)；其中，在視頻中每隔30幀選擇一個(gè)I幀的效果最佳；

(2)、使用深度圖像壓縮網(wǎng)絡(luò)ga進(jìn)行圖像處理后，再使用均值量化器Q進(jìn)行量化處理，最后進(jìn)行算術(shù)熵編碼并存儲(chǔ)為pickle文件；其中，深度圖像壓縮網(wǎng)絡(luò)ga使用一個(gè)3層的神經(jīng)網(wǎng)絡(luò)，每一層包括一個(gè)卷積、一個(gè)下采樣和一個(gè)GDN激活函數(shù)。

5.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的視頻壓縮方法，其特征在于，所述P幀的視頻編碼具體如下：

①、對于視頻中P幀，把重構(gòu)的幀和當(dāng)前幀輸入到光流網(wǎng)絡(luò)中，使用的光流網(wǎng)絡(luò)是Spynet進(jìn)行光流估計(jì)；

②、使用編解碼器對光流進(jìn)行編解碼，再把量化后的光流編碼進(jìn)行算術(shù)熵編碼進(jìn)行存儲(chǔ)pickle文件；

③、把光流信息和上一幀的重構(gòu)圖片輸入到補(bǔ)償網(wǎng)絡(luò)中，得到當(dāng)前幀的預(yù)測圖片；

④、通過真實(shí)圖片和預(yù)測圖片相減得到殘差，對殘差進(jìn)行編碼保留；

⑤、把殘差輸入到殘差網(wǎng)絡(luò)得到編碼信息，對編碼信息進(jìn)行量化后使用算術(shù)熵編碼進(jìn)行編碼并存儲(chǔ)為Pickle文件。