[發明專利]基于結構相似度的感知視頻編碼方法和系統

有效

• 申請號: 201280037758.1
• 申請日: 2012-05-29
• 公開（公告）號: CN103918271B
• 公開（公告）日: 2018-04-24
• 發明（設計）人: 王舟;阿布杜爾·雷曼
• 申請（專利權）人: 王舟;阿布杜爾·雷曼
• 主分類號: H04N19/61
• 分類號: H04N19/61
• 代理公司: 北京市金杜律師事務所11256
• 代理人: 王茂華

相關申請的交叉引用

本申請要求于2011年6月1日提交的專利號為US61/492,081美國分案申請以及于2011年8月15日提交的專利號US61/523,610的美國分案申請的優先權，其全部內容通過引用結合在本申請中。

技術領域

本發明主要涉及視頻編碼，尤其涉及一種基于結構相似度的視頻編碼來提高解碼后的視頻感知質量而不增加數據碼率，或者降低壓縮視頻流的數據碼率而不會犧牲解碼后的視頻的感知質量。

背景技術

在數字圖像應用的各個環節，如采集，處理，壓縮，存儲，傳輸和再現過程中都會造成各種失真，任何一個過程都可以導致視覺質量的下降。由于圖像最終是供用戶觀看的，量化視覺圖像質量最可靠的方法是通過主觀評價。然而在實踐中，主觀評價通常是不太方便，耗時和昂貴的。客觀圖像質量度量可以自動預測感知圖像質量。最簡單且最廣泛使用的質量度量方法是通過計算失真及參考圖像像素的均方差(MSE)和相關峰值信噪比(PSNR)。但是這些方法經過驗證都不能很好的匹配感知視覺質量。在過去的十幾年中，大量的努力付出在開發先進的質量評估方法。其中的結構相似指數(SSIM)方法在復雜性和質量預測準確性之間取得了一個很好的權衡，已成為被學術研究人員和行業實施者最廣泛認可的圖像/視頻質量測量方法?？偠灾?，視頻編碼通常需要在數據碼率R和允許的失真值D之間取得一個最好的權衡?，F有的視頻編碼技術使用絕對差之和(SAD)或平方差之和(SSD)作為失真值D的模型，然而這種方法因其較差的感知圖像質量的相關性在文獻中被廣泛批判。其他方法也試圖定義基于D的SSIM和優化碼率SSIM用于視頻編碼。

鑒于此，需要提供一種改進的方案，以解決上述的問題。

發明內容

在一方面，本發明涉及了一種使用結構相似度相除歸一化機制的感知視頻編碼方法來改善視頻編碼方案，包括MPEG/H.264 AVC標準和高效率視頻編碼HEVC。

另一方面，本發明涉及一種使用相除歸一化法的感知視頻編碼方法，包括以下步驟：在當前幀的編碼過程中，從一個或多個先前編碼的幀的預測中，減掉視頻的當前幀，得到一個預測殘差；變換所述預測殘差形成一系列系數；使用相除歸一化機制歸一化各個系數；對歸一化的系數進行率失真優化，量化和熵編碼。

在另一方面，本發明涉及一種適應于各個變換系數的相除歸一化因子的計算，通過利用像素，或變換域，或兩者的信息，和至少如下任意一項信息，反映或粗略估計結構相似度指標中的歸一化因子：編碼的原始當前幀；先前編碼的相鄰幀在解碼后的版本；從先前編碼幀預測出來的當前幀；和預測殘差。在又一個方面，本發明涉及在相除歸一化變換領域的率失真(RDO)優化，其中最優拉格朗日參數由量化步距和變換系數的先驗分布確定。

在又一個方面，本發明涉及一種感知視頻編碼方法，包括如下步驟：在當前幀的編碼過程中，從一個或多個先前編碼的幀的預測中，減去視頻的當前幀，得到一個預測殘差；變換所述預測殘差形成一系列系數；使用相除歸一化機制歸一化各個系數；對歸一化的系數進行碼率-失真優化，量化和熵編碼，還包括如下步驟：利用相除歸一化機制，通過確定一個相除歸一化因子來歸一化各個系數；通過利用像素，或變換域，或兩者中都存在的信息，和至少如下任意一項信息，粗略估計結構相似度指標中的歸一化因子：編碼的原始當前幀；一個或多個所述編碼的相鄰幀和當前幀解碼后的版本；當前幀對于一個或多個先前編碼幀的預測殘差；和當前幀的預測殘差；還包括如下步驟：在當前幀中，通過在相應的一個或多個先前編碼幀或當前幀的預測的能量中使用一個比例因子，來確定一個基于當前幀中AC系數估算的能量的相除歸一化系數。在一個實施例中，所述方法還包括，通過為每個MB/變換單位(TU)分割基于結構相似度的相除歸一化因子，使其在所述整個幀中成為大小相同的小塊，計算每個MB/變換單位(TU)的基于結構相似度的相除歸一化因子，之后計算每個MB/TU內所有小塊相除歸一化因子的平均值。

在另一個實施例中，所述方法還包括為根據所述整個被編碼幀的局部基于結構相似度的相除歸一化因子的預期值，為每個MB/TU歸一化一個局部基于結構相似度的相除歸一化因子。

在另一個實施例中，所述方法還包括根據所述視頻幀的局部內容，調整相除歸一化因子，其中所述內容可以由局部復雜性度量計算為局部對比度，局部能量，或局部信號活動。在另一個實施例中，所述方法還包括在空間上使各個TU適應基于結構相似度的相除歸一化因子計算，其可以為在空間中可變大小的塊。