[發(fā)明專利]一種應用于視頻壓縮技術(shù)的運動補償方法

在審

• 申請?zhí)枺?/td>: 202010068733.4
• 申請日: 2020-01-21
• 公開（公告）號: CN111277837A
• 公開（公告）日: 2020-06-12
• 發(fā)明（設計）人: 安程治;李銳;金長新
• 申請（專利權(quán)）人: 濟南浪潮高新科技投資發(fā)展有限公司
• 主分類號: H04N19/513
• 分類號: H04N19/513;G06N3/04
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 闞恭勇

本發(fā)明提供一種應用于視頻壓縮技術(shù)的運動補償方法，屬于涉及視頻壓縮，人工智能，深度學習技術(shù)領(lǐng)域，本發(fā)明將傳統(tǒng)視頻壓縮技術(shù)中的中間結(jié)果光流圖與參考幀與光流圖和參考幀的合成圖像三者進行串聯(lián)作為運動補償神經(jīng)網(wǎng)絡的輸入。利用深度學習技術(shù)在處理圖像視頻方面的優(yōu)勢幫助視頻壓縮技術(shù)提升壓縮效果。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻壓縮，人工智能，深度學習技術(shù)，尤其涉及一種應用于視頻壓縮技術(shù)的運動補償方法。

背景技術(shù)

通常，視頻壓縮編碼器基于輸入的當前幀生成比特流。解碼器根據(jù)接收到的比特流重建視頻幀。傳統(tǒng)視頻壓縮技術(shù)大致包含六個步驟，包括：運動估計，運動補償，變換和量化，逆轉(zhuǎn)換，熵編碼，視頻幀重構(gòu)六部分。

運動估計：通過獲得每個事先劃分好的的像素塊的對應運動矢量，來估計當前幀x_t和先前的重建幀x_t-1之間的運動。

運動補償：通過在運動估計中得到的運動矢量v_t，將先前重建幀中的相應像素復制到當前幀中，從而獲得預測幀x_t。原始幀x_t和預測幀x^-_t之間的殘差r_t。r_t＝x_t-x^_t。

變換和量化：將運動補償?shù)脕淼臍埐钸M行量化為y_t。在量化之前使用變換(例如，DCT)以獲得更好的壓縮性能。

逆變換：通過逆變換將上一步中的量化結(jié)果y_t用于獲得重構(gòu)殘差r_t。

熵編碼：通過將運動估計中的運動矢量v_t和量化的結(jié)果y_t都編碼為比特，并發(fā)動給解碼器。

視頻幀重建：通過將運動補償獲得的當前幀的預測幀與逆變換回的殘差相加生成重構(gòu)幀x^_t。

傳統(tǒng)基于規(guī)則式的運動補償方法無法學習到視頻幀與視頻幀之間的非線性映射規(guī)則，因此補償后的結(jié)果較為粗糙導致后續(xù)殘差結(jié)果較大難以有效提高壓縮效率。

發(fā)明內(nèi)容

為了解決以上技術(shù)問題，本發(fā)明提出了一種應用于視頻壓縮技術(shù)的運動補償方法，通過利用深度學習技術(shù)在處理圖像視頻方面的優(yōu)勢幫助視頻壓縮技術(shù)提升壓縮效果。

本發(fā)明的技術(shù)方案是：

一種應用于視頻壓縮技術(shù)的運動補償方法，將傳統(tǒng)視頻壓縮技術(shù)中的中間結(jié)果光流圖與參考幀與光流圖和參考幀的合成圖像三者進行串聯(lián)作為運動補償神經(jīng)網(wǎng)絡的輸入。

運動補償神經(jīng)網(wǎng)絡的輸入是運動估計得來的像素的運動矢量v_t，上一幀重構(gòu)圖像x^_t-1，和v_t與x^_t-1重構(gòu)圖w(x^_t-1,v_t)。

v_t的儲存形式為光流圖通道數(shù)為2，x^_t-1儲存形式為圖像通道數(shù)為3，w(x^_t-1,v_t)儲存形式為圖像通道數(shù)為3，因此神經(jīng)網(wǎng)絡的輸入為三者串聯(lián)的通道數(shù)為8，寬高為輸入圖像大小的張量。

具體步驟如下：

步驟一：將運動估計得來的像素的運動矢量v_t，上一幀重構(gòu)圖像x^_t-1，和v_t與x^_t-1重構(gòu)圖w(x^_t-1,v_t)串聯(lián)成為8通道的張量作為神經(jīng)網(wǎng)絡的輸入。