[發(fā)明專利]基于關(guān)鍵幀超分辨率重建的視頻編解碼系統(tǒng)

無效

• 申請?zhí)枺?/td>: 201010292294.1
• 申請日: 2010-09-27
• 公開（公告）號: CN101938656A
• 公開（公告）日: 2011-01-05
• 發(fā)明（設(shè)計(jì)）人: 宋利;周強(qiáng);張文軍
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/50
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王錫麟;王桂忠

技術(shù)領(lǐng)域

本發(fā)明涉及的是一種視頻圖像處理技術(shù)領(lǐng)域的系統(tǒng)，具體是一種基于關(guān)鍵幀超分辨率重建的視頻編解碼系統(tǒng)。

背景技術(shù)

視頻編解碼技術(shù)對于視頻存儲和傳輸至關(guān)重要。視頻編碼標(biāo)準(zhǔn)的發(fā)展經(jīng)過了MPEG-2、H.263、MPEG-4、H.264等幾個(gè)階段。H.264作為新一代視頻編碼標(biāo)準(zhǔn)，與H.263、MPEG-4相比，其視頻壓縮比提升了一倍左右。

但是傳統(tǒng)的視頻編碼技術(shù)都遵從一個(gè)既定的框架，對進(jìn)入編碼端的視頻直接進(jìn)行壓縮。對這些視頻編碼技術(shù)的改進(jìn)也都局限在這個(gè)固定的框架之內(nèi)。然而，編碼端之前可以加入一個(gè)前處理過程，它負(fù)責(zé)對視頻內(nèi)容進(jìn)行預(yù)處理，以期對其壓縮時(shí)能夠獲得更高的壓縮效率。當(dāng)然，這個(gè)過程之中可能會造成視頻中諸如高頻細(xì)節(jié)等信息的丟失。因此，解碼端之后還需另加一個(gè)后處理操作，該過程主要負(fù)責(zé)恢復(fù)前置級中丟失的信息。

為了進(jìn)一步提升視頻編碼效率，研究者加入了圖像處理的超分辨率重建技術(shù)，以此為基礎(chǔ)建立了一個(gè)新穎的視頻編碼框架。

經(jīng)過對現(xiàn)有文獻(xiàn)檢索發(fā)現(xiàn)，F(xiàn).Brandi等在2008年IEEE?International?Conference?on?ImageProcessing(IEEE圖像處理國際會議)上發(fā)表的“Super-resolution?of?video?using?key?frames?andmotion?estimation(基于關(guān)鍵幀和運(yùn)動估計(jì)的視頻超分辨率重建技術(shù))”中，提出一種基于關(guān)鍵幀的超分辨率重建方法，并嘗試將這種方法應(yīng)用到視頻編碼中。這種理念是對傳統(tǒng)編碼框架的一種創(chuàng)新。但是F.Brandi等提出的方案側(cè)重于這種使用關(guān)鍵幀的超分辨率重建技術(shù)，并未提出一個(gè)系統(tǒng)的編碼框架。而且該方案在對高頻信號的表征方面也有諸多不足之處。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提供一種基于關(guān)鍵幀超分辨率重建的視頻編解碼系統(tǒng)，通過在編碼前對視頻下采樣，在解碼后對視頻采用基于關(guān)鍵幀分層塊匹配的視頻超分辨率重建技術(shù)進(jìn)行分辨率提升，如此可以降低編碼后視頻碼流的比特率，實(shí)現(xiàn)編碼效率的提升。

本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明包括：由幀選擇模塊、關(guān)鍵幀編碼模塊、小波下采樣模塊、非關(guān)鍵幀編碼模塊和碼流整合模塊組成的視頻編碼端和由碼流分解模塊、關(guān)鍵幀解碼模塊、小波分解模塊、非關(guān)鍵幀解碼模塊、非關(guān)鍵幀上采樣模塊和視頻整合模塊組成的視頻解碼端，其中：

幀選擇模塊接收視頻序列并分別輸出視頻序列中的關(guān)鍵幀和非關(guān)鍵幀至關(guān)鍵幀編碼模塊和小波下采樣模塊，關(guān)鍵幀編碼模塊與非關(guān)鍵幀編碼模塊相連并傳輸關(guān)鍵編碼幀，小波下采樣模塊與非關(guān)鍵幀編碼模塊相連并傳輸下采樣非關(guān)鍵幀，關(guān)鍵幀編碼模塊與碼流整合模塊相連并傳輸關(guān)鍵編碼幀，非關(guān)鍵幀編碼模塊與碼流整合模塊相連并傳輸?shù)头?!-- SIPO -->辨率非關(guān)鍵編碼幀；

碼流分解模塊與關(guān)鍵幀解碼模塊相連并傳輸關(guān)鍵幀相關(guān)碼流，碼流分解模塊與非關(guān)鍵幀解碼模塊相連并傳輸非關(guān)鍵幀相關(guān)碼流，關(guān)鍵幀解碼模塊與小波下采樣模塊相連并傳輸關(guān)鍵解碼幀，關(guān)鍵幀解碼模塊與視頻整合模塊相連并傳輸關(guān)鍵解碼幀，小波分解模塊與非關(guān)鍵幀解碼模塊相連并傳輸下采樣關(guān)鍵幀，小波分解模塊與非關(guān)鍵幀上采樣模塊相連并傳輸三個(gè)關(guān)鍵幀子帶和下采樣關(guān)鍵幀，非關(guān)鍵幀解碼模塊與非關(guān)鍵幀上采樣模塊相連并傳輸?shù)头直媛史顷P(guān)鍵解碼幀，非關(guān)鍵幀上采樣模塊與視頻整合模塊相連并傳輸非關(guān)鍵重建幀。

所述的關(guān)鍵幀為視頻序列的第一幀，每兩個(gè)相鄰的關(guān)鍵幀中間設(shè)有若干數(shù)目固定的非關(guān)鍵幀。

所述的幀選擇模塊對輸入的視頻序列進(jìn)行選擇并分割得到關(guān)鍵幀序列和非關(guān)鍵幀序列。

所述的關(guān)鍵幀編碼模塊對輸入的關(guān)鍵幀使用幀內(nèi)編碼方式壓縮編碼。

所述的小波下采樣模塊采用哈爾小波濾波器對非關(guān)鍵幀進(jìn)行小波分解并保留橫縱方向均為低頻的子帶，并將子帶系數(shù)除2作為下采樣非關(guān)鍵幀輸出。

所述的非關(guān)鍵幀編碼模塊包括：關(guān)鍵幀解碼子模塊、小波下采樣子模塊和非關(guān)鍵幀編碼子模塊，其中：關(guān)鍵幀編碼模塊與關(guān)鍵幀解碼子模塊相連并傳輸關(guān)鍵編碼幀碼流，關(guān)鍵幀解碼子模塊與小波下采樣子模塊相連并傳輸關(guān)鍵解碼幀，小波下采樣子模塊與非關(guān)鍵幀編碼子模塊相連并傳輸下采樣解碼序列，非關(guān)鍵幀編碼子模塊與小波下采樣模塊相連并接收下采樣非關(guān)鍵幀，非關(guān)鍵幀編碼子模塊與碼流整合模塊相連并傳輸經(jīng)幀間編碼后的低分辨率非關(guān)鍵幀。

所述的關(guān)鍵幀解碼子模塊使用幀內(nèi)解碼方式對關(guān)鍵幀編碼模塊輸出的已編碼關(guān)鍵幀碼流進(jìn)行解碼，防止因視頻編碼端和視頻解碼端不匹配造成視頻解碼端的解碼漂移。