[發明專利]一種基于光流和塊匹配的DVC邊信息融合方法

有效

• 申請號: 201810563580.3
• 申請日: 2018-06-04
• 公開（公告）號: CN108833920B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 卿粼波;熊珊珊;何小海;王正勇;榮松;滕奇志;熊淑華
• 申請（專利權）人: 四川大學
• 主分類號: H04N19/139
• 分類號: H04N19/139;H04N19/147;H04N19/176;H04N19/177;H04N19/587
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種基于光流和塊匹配的DVC邊信息融合方法，主要涉及解碼端WZ幀邊信息生成方案。由于傳統的塊匹配邊信息生成方案對于運動較為平緩的視頻序列來說可以獲得較好的編碼質量，但當視頻圖像運動較為劇烈或視頻圖像組較大時，塊匹配算法難以獲得一個較高的邊信息質量，而光流可以很好的表示視頻序列之間的運動信息，因此本發明方法提出了一種基于光流和塊匹配的邊信息融合算法，實驗結果表明，本發明的方法可以獲得較傳統的塊匹配算法更高的邊信息質量，提升了系統的整體率失真性能。

技術領域

本發明涉及圖像通信領域中的視頻編碼技術問題，尤其是涉及一種分布式視頻編碼(DVC)中的邊信息質量提升技術。

背景技術

近年來，隨著數字通信、多媒體技術和無線通信等高科技技術的快速發展，人們對視頻質量的要求也越來越高，如：無線傳感器網絡、視頻會議、無線監控視頻、智能手機等。相比較于單一的音頻及文本信息，視頻圖像可以提供更為直觀豐富的視覺信息，但是擁有龐大數據量的視頻圖像對視頻壓縮編碼系統也帶來了一定的挑戰。對于新型的移動設備終端而言，其普遍特點是在計算能力、存儲容量和功耗等方面受限。分布式視頻編碼(Distributed Video Coding，DVC)具有編碼復雜度低，抗誤碼性高等特點，它采用獨立編碼、聯合解碼的方式，在解碼端挖掘幀間以及多信源間的相關性，從而將復雜的運動補償和運動估計從編碼端移到了解碼端，降低了編碼端的復雜度，這些特點為編碼端低計算能力、無線傳輸可靠性差的視頻應用提供了新的有效解決方案。

在DVC中，視頻序列被交替分為Wyner-Ziv幀(WZ幀)和關鍵幀(K幀)，K幀采用的是傳統的幀內獨立編解碼方式，可以用來輔助WZ幀邊信息的生成。生成的邊信息質量好壞對于整個系統的率失真性能起著決定性的作用。傳統的邊信息生成方法有如下幾種：關鍵幀復制法、關鍵幀平均法、運動補償外推法和運動補償內插法。這些傳統的邊信息生成方案對于運動較為平緩的視頻序列來說可以獲得較好的編碼質量，但當視頻圖像運動較為劇烈或視頻圖像組(Group of Picture,GOP)較大時，這些方法都難以獲得一個較高的邊信息質量。

本發明使用的DVC編碼框架為基于運動學習的Wyner-Ziv視頻編碼框架(MotionLearning-based transform domain Wyner-Ziv,MLWZ)，MLWZ方案是在斯坦福大學提出的基于DCT域的Wyner-Ziv編碼方案基礎上，對相應的模塊進行了優化處理，其思想是通過逐個頻帶的解碼信息以及當前塊鄰域的運動矢量來逐步更新學習，因此可以在一定程度上可以得到更高質量的邊信息。然而基于運動學習的MLWZ框架的初始邊信息生成方案采用的是基于塊匹配的運動補償內插算法，當視頻序列運動較為劇烈或GOP較大時，該方法難以獲得一個理想的邊信息質量，另一方面，邊信息的逐步更新和優化是在初始邊信息的基礎上進行的，系統的初始邊信息質量越高，整個系統最終的編碼性能將越好。因此本發明在MLWZ框架的基礎上，利用視頻幀間生成的光流信息，提升MLWZ解碼端初始邊信息的質量，以此進一步的提高DVC系統的整體率失真性能。

發明內容

在DVC中，WZ幀的邊信息可以被認為是解碼端獲得的對當前待解碼WZ幀的一種預測，邊信息與原始的WZ幀越相似，編碼端需要發送到解碼端的校驗比特位就越少，系統的碼率就越低，編碼性能就越高。因此，在DVC中，邊信息對于整個編碼系統的性能來說具有決定性的作用。

為了方便說明，首先引入光流概念：

在計算機視覺及圖像處理領域，常用光流來表達圖像之間的變化及運動情況，光流的概念是由James J.Gibson在20世紀40年代首次提出的，對于一個視頻序列而言，光流代表的就是視頻中每張圖像的各個像素的運動速度和運動方向，如圖1所示為根據視頻序列Foreman中第1幀和第2幀生成的光流示意圖。當視頻序列運動劇烈時，光流也可以很好的表示出圖像之間的運動信息，可以有效彌補塊匹配算法在視頻序列運動較為劇烈時邊信息質量下降的問題。目前常用的光流算法已經比較成熟，本發明使用基于深度卷積神經網絡的FlowNet 2.0框架來生成光流信息，一種基于光流和塊匹配的DVC邊信息融合方法具體步驟如下：