[發明專利]基于關鍵幀超分辨率重建的視頻編解碼系統

無效

• 申請號: 201010292294.1
• 申請日: 2010-09-27
• 公開（公告）號: CN101938656A
• 公開（公告）日: 2011-01-05
• 發明（設計）人: 宋利;周強;張文軍
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/50
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王錫麟;王桂忠

1.一種基于關鍵幀超分辨率重建的視頻編解碼系統，包括：由幀選擇模塊、關鍵幀編碼模塊、小波下采樣模塊、非關鍵幀編碼模塊和碼流整合模塊組成的視頻編碼端和由碼流分解模塊、關鍵幀解碼模塊、小波分解模塊、非關鍵幀解碼模塊、非關鍵幀上采樣模塊和視頻整合模塊組成的視頻解碼端，其特征在于：

幀選擇模塊接收視頻序列并分別輸出視頻序列中的關鍵幀和非關鍵幀至關鍵幀編碼模塊和小波下采樣模塊，關鍵幀編碼模塊與非關鍵幀編碼模塊相連并傳輸關鍵編碼幀，小波下采樣模塊與非關鍵幀編碼模塊相連并傳輸下采樣非關鍵幀，關鍵幀編碼模塊與碼流整合模塊相連并傳輸關鍵編碼幀，非關鍵幀編碼模塊與碼流整合模塊相連并傳輸低分辨率非關鍵編碼幀；

碼流分解模塊與關鍵幀解碼模塊相連并傳輸關鍵幀相關碼流，碼流分解模塊與非關鍵幀解碼模塊相連并傳輸非關鍵幀相關碼流，關鍵幀解碼模塊與小波下采樣模塊相連并傳輸關鍵解碼幀，關鍵幀解碼模塊與視頻整合模塊相連并傳輸關鍵解碼幀，小波分解模塊與非關鍵幀解碼模塊相連并傳輸下采樣關鍵幀，小波分解模塊與非關鍵幀上采樣模塊相連并傳輸三個關鍵幀子帶和下采樣關鍵幀，非關鍵幀解碼模塊與非關鍵幀上采樣模塊相連并傳輸低分辨率非關鍵解碼幀，非關鍵幀上采樣模塊與視頻整合模塊相連并傳輸非關鍵重建幀；

所述的關鍵幀為視頻序列的第一幀，每兩個相鄰的關鍵幀中間設有若干數目固定的非關鍵幀。

2.根據權利要求1所述的基于關鍵幀超分辨率重建的視頻編解碼系統，其特征是，所述的視頻編碼端中：幀選擇模塊對輸入的視頻序列進行選擇并分割得到關鍵幀序列和非關鍵幀序列；關鍵幀編碼模塊對輸入的關鍵幀使用幀內編碼方式壓縮編碼；小波下采樣模塊采用哈爾小波濾波器對非關鍵幀進行小波分解并保留橫縱方向均為低頻的子帶，并將子帶系數除2作為下采樣非關鍵幀輸出；碼流整合模塊將關鍵編碼幀碼流和編碼后的非關鍵幀碼流整合為一個單個碼流用于傳輸或存儲。

3.根據權利要求1所述的基于關鍵幀超分辨率重建的視頻編解碼系統，其特征是，所述的非關鍵幀編碼模塊包括：關鍵幀解碼子模塊、小波下采樣子模塊和非關鍵幀編碼子模塊，其中：關鍵幀編碼模塊與關鍵幀解碼子模塊相連并傳輸關鍵編碼幀碼流，關鍵幀解碼子模塊與小波下采樣子模塊相連并傳輸關鍵解碼幀，小波下采樣子模塊與非關鍵幀編碼子模塊相連并傳輸下采樣解碼序列，非關鍵幀編碼子模塊與小波下采樣模塊相連并接收下采樣非關鍵幀，非關鍵幀編碼子模塊與碼流整合模塊相連并傳輸經幀間編碼后的低分辨率非關鍵幀。

4.根據權利要求3所述的基于關鍵幀超分辨率重建的視頻編解碼系統，其特征是，所述的關鍵幀解碼子模塊使用幀內解碼方式對關鍵幀編碼模塊輸出的已編碼關鍵幀碼流進行解碼，防止因視頻編碼端和視頻解碼端不匹配造成視頻解碼端的解碼漂移。

5.根據權利要求3所述的基于關鍵幀超分辨率重建的視頻編解碼系統，其特征是，所述的小波下采樣子模塊采用哈爾小波濾波器對關鍵解碼幀進行小波分解并保留橫縱方向均為低頻的子帶，并將子帶系數除2作為下采樣解碼序列。

6.根據權利要求3所述的基于關鍵幀超分辨率重建的視頻編解碼系統，其特征是，所述的非關鍵幀編碼子模塊以下采樣解碼序列中的關鍵幀為參考幀，對輸入的已采樣非關鍵幀使用幀間編碼方式編碼，所述幀間編碼中的非關鍵幀為P幀或B幀。

7.根據權利要求1所述的基于關鍵幀超分辨率重建的視頻編解碼系統，其特征是，所述的視頻解碼端中：碼流分解模塊將經過傳輸的混合碼流分解為單獨的關鍵幀碼流和非關鍵幀碼流；關鍵幀解碼模塊使用幀內解碼方式對輸入的關鍵幀碼流解碼，輸出解碼后的原始分辨率關鍵幀；小波分解模塊，將輸入的解碼后關鍵幀使用哈爾小波濾波器分解為四個子帶，并將其中三個含高頻信息子帶傳輸給非關鍵幀上采樣模塊，將橫縱方向均為低頻的子帶系數除2后傳輸出給非關鍵幀上采樣模塊和非關鍵幀解碼模塊；非關鍵幀解碼模塊以輸入的減采樣關鍵幀為參考幀，使用幀間解碼方式對非關鍵幀碼流解碼，輸出為低分辨率非關鍵解碼幀；視頻整合模塊根據輸入的關鍵幀和非關鍵幀在原視頻序列中的順序，整合為一個完整的視頻。

8.根據權利要求1或7所述的基于關鍵幀超分辨率重建的視頻編解碼系統，其特征是，所述的非關鍵幀上采樣模塊包括分層塊匹配子模塊、小波重建子模塊，其中：小波分解模塊與分層塊匹配子模塊相連，傳輸關鍵幀經過小波分解后的含高頻信息的三個子帶與下采樣后的已解碼關鍵幀；非關鍵幀解碼模塊與分層塊匹配子模塊相連，傳輸低分辨率非關鍵解碼幀；分層塊匹配子模塊與小波重建子模塊相連，傳輸經過分層塊匹配后的三個含高頻信息子帶；非關鍵幀解碼模塊與小波重建子模塊相連，傳輸低分辨率非關鍵解碼幀；小波重建子模塊與視頻整合模塊相連，傳輸非關鍵重建幀。