[發明專利]基于視差預測的光場圖像編碼方法

有效

• 申請號: 201710267438.X
• 申請日: 2017-04-21
• 公開（公告）號: CN106973293B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 陳志波;趙盛洋
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N19/107
• 分類號: H04N19/107;H04N19/583;H04N13/128;H04N19/176;H04N13/161
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發明公開了一種基于視差預測的光場圖像編碼方法，包括：將光場圖像轉換為偽視頻序列；在編碼端，利用深度神經網絡預測偽視頻序列中已編碼幀和當前幀之間的光流信息，并將其轉換為視差信息，然后進行運動補償，并計算殘差；最后，將殘差量化編碼寫入碼流；在解碼端，采用與編碼端一致的方法，利用深度神經網絡預測已解碼幀和當前幀之間的光流信息，并將其轉換為對應解碼塊的運動矢量，通過運動補償得到當前解碼塊的預測塊，最后利用碼流中的殘差信息構建重建塊。該方法可以節省運動估計的時間，降低編碼運動矢量的比特數，提高光場圖像的壓縮性能，且不需要再將運動信息寫入碼流，能夠極大地降低傳輸碼流信息所需要的帶寬。

技術領域

本發明涉及視頻編碼技術領域，尤其涉及一種基于視差預測的光場圖像編碼方法。

背景技術

光場相機不但可以記錄空間場景中的光線強度，而且還能記錄其方向信息，隨著Lytro光場相機的推出，光場圖像在立體顯示、虛擬現實、深度計算等領域有著巨大的應用前景。對于光場圖像，我們可以將其轉換為一組子孔徑圖像(subaperture image)，各個子孔徑圖像存在微小的視差，因此它們的信息冗余度非常大。如何利用子孔徑圖像間的視差對其進行高效地壓縮，是光場技術應用過程中亟待解決的問題。

目前，如下兩種方案：1)將視差補償結合到小波變換中，但是該方法不能和現有的基于塊結構的混合編碼框架進行有效結合，并且該方法無法支持實時操作；2)則利用投影映射對子孔徑圖像間的視角變換進行建模，但是由于特征點檢測精度的問題，導致其壓縮性能不高。

另一方面，雖然光場中的視差信息可以通過計算運動矢量的方法得到，但是目前的計算過程涉及到運動估計，其時間復雜度較高，而且編碼這些運動矢量要花費大量的比特。

發明內容

本發明的目的是提供一種基于視差預測的光場圖像編碼方法，可以節省運動估計的時間，降低編碼運動矢量的比特數，提高光場圖像的壓縮性能。

本發明的目的是通過以下技術方案實現的：

一種基于視差預測的光場圖像編碼方法，包括：

將光場圖像轉換為偽視頻序列；

在編碼端，利用深度神經網絡預測偽視頻序列中已編碼幀和當前幀之間的光流信息，并將其轉換為視差信息，即對應編碼塊的運動矢量，然后進行運動補償，并計算殘差；最后，將殘差量化編碼寫入碼流；

在解碼端，采用與編碼端一致的方法，利用深度神經網絡預測已解碼幀和當前幀之間的光流信息，并將其轉換為對應解碼塊的運動矢量，通過運動補償得到當前解碼塊的預測塊，最后利用碼流中的殘差信息構建重建塊。

所述將光場圖像轉換為偽視頻序列包括：

將光場圖像轉換為子孔徑圖像陣列，每幅子孔徑圖像反映了不同視角的場景信息；

將子孔徑圖像陣列按照一定的順序將其轉換為偽視頻序列。

構建所述深度神經網絡的過程如下：

計算偽視頻序列相鄰幀之間的光流信息，作為訓練樣本標簽；

構建神經網絡結構，以視頻幀作為網絡輸入進行前向傳播預測光流，并根據訓練樣本標簽計算損失值，再根據損失值反向傳播更新參數，如此反復迭代多次作為網絡訓練過程，訓練完成的網絡作為深度神經網絡。

所構建的神經網絡結構為：依次設置的卷積層、局部響應正則化層、池化層、卷積層、局部響應正則化層、池化層、三個卷積層、池化層、兩個全連接層以及空間多元邏輯斯蒂克回歸層；或者，依次設置的五個交替設置的卷積層與池化層、三個卷積層、逆卷積層、剪裁層以及多元邏輯斯蒂克回歸層。