[發明專利]一種基于圖像插值法的視頻壓縮方法

在審

• 申請號: 202010041489.2
• 申請日: 2020-01-15
• 公開（公告）號: CN111212287A
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 汝佩哲;李銳;金長新
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: H04N19/426
• 分類號: H04N19/426;H04N19/59;H04N19/503
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 闞恭勇

本發明提供一種基于圖像插值法的視頻壓縮方法，屬于深度學習技術領域，包括：通過JPEG壓縮關鍵幀；使用Super?SloMo神經網絡生成預測插值幀；將原插值幀與預測插值幀相減得到殘差數據；將關鍵幀壓縮數據與插值幀殘差數據進行量化和熵編碼并打包保存；通過JPEG解壓還原關鍵幀；通過預測插值幀與殘差數據相加還原原插值幀。可將視頻壓縮與深度學習結合，提升壓縮效果與還原后視覺效果。

技術領域

本發明涉及深度學習技術，尤其涉及一種基于圖像插值法的視頻壓縮方法。

背景技術

隨著數字化信息時代的到來和4G，5G通信技術的快速普及，越來越多的數字通信，媒體消費的內容和創作都是圍繞視頻展開的。

視頻控制著互聯網數據的絕大部分，現如今，更是占了所有互聯網流量的四分之三。我們通過動態圖片捕捉瞬間，分享回憶，彼此娛樂，所有這些都是由強大的數碼相機和視頻壓縮技術提供的。強壓縮能顯著減少互聯網流量，節省存儲空間和增加數據吞吐量。它驅動云游戲、實時高質量視頻流、3d視頻等應用。

視頻壓縮甚至能夠幫助應用深度神經網絡更好地理解和解析視頻。盡管有這些明顯的好處，視頻壓縮算法仍然很大程度上是手工設計。傳統的視頻壓縮都是手工設計和手工優化的。

傳統的視頻編解碼器依賴于塊運動估計，殘差顏色模式以及使用離散余弦變換和熵編碼之間的復雜交互作用。雖然每個部分都經過精心設計，盡可能壓縮視頻，但整個系統并沒有聯合優化，并且沒有受到深度學習的影響。

發明內容

為了解決以上技術問題，本發明提出了一種基于圖像插值法的視頻壓縮方法，將視頻壓縮簡化為重復的圖像插值，只保存關鍵幀及插值圖像與原圖像之間的殘差數據，節省儲存空間。

本發明的技術方案是：

一種基于圖像插值法的視頻壓縮方法，包括如下步驟：

1)、通過JPEG壓縮關鍵幀；

2)、使用Super-SloMo神經網絡生成預測插值幀；

3)、將原插值幀與預測插值幀相減得到殘差數據；

4)、將關鍵幀壓縮數據與插值幀殘差數據進行量化和熵編碼并打包保存；

5)、通過JPEG解壓還原關鍵幀；

6)、通過預測插值幀與殘差數據相加還原原插值幀。

其中，

壓縮：

一：將視頻數據拆分為連續的單幀圖像，用I表示，如I₁，I₂，I₃...

二：每隔n幀設置一張關鍵幀，剩下的n-1幀作為插值幀。這里選擇n＝8。即每隔8幀設置一張關鍵幀，剩下的7幀作為插值幀。

三：將關鍵幀通過傳統圖像壓縮方法進行壓縮，用Y表示，如Y₁，Y₉。

四：利用第一幀(I₁，關鍵幀)與第九幀(I₉，關鍵幀)通過Super-SloMo神經網絡(用表示)預測第五幀(I₅，插值幀)，預測結果用I′表示，即

五：將原第五幀與預測第五幀相減獲得殘差數據R。即

六：重復四、五步驟，通過I₁、I₅和I₃獲得通過I₁、I₃和I₂獲得直到獲得所有插值幀的殘差數據。

七：對關鍵幀壓縮數據Y及殘差數據R進行量化和熵編碼并保存。