[發(fā)明專利]一種視頻超分辨率處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310689367.4
• 申請(qǐng)日: 2013-12-13
• 公開（公告）號(hào): CN103632359A
• 公開（公告）日: 2014-03-12
• 發(fā)明（設(shè)計(jì)）人: 張磊;肖煜東;索津莉;張永兵;戴瓊海
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳研究生院
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 余敏

【技術(shù)領(lǐng)域】

本發(fā)明涉及計(jì)算機(jī)視頻處理領(lǐng)域，特別是涉及一種基于自相似塊匹配的視頻超分辨率處理方法。

【背景技術(shù)】

超分辨率處理技術(shù)是一種提高視頻或者圖像的分辨率的技術(shù)，通俗的理解即是通過硬件或軟件的方法提高原有圖像的分辨率。圖像視頻在其獲取收集、傳輸儲(chǔ)存等過程中由于某些因素的制約，可能導(dǎo)致其質(zhì)量水平下降或者過低。隨著計(jì)算機(jī)多媒體技術(shù)的發(fā)展，人們對(duì)數(shù)字圖像清晰度的要求越來越高，因此經(jīng)常需要通過超分辨率處理提高視頻或者圖像的分辨率，同時(shí)希望處理后的視頻清晰度較高。現(xiàn)有的視頻超分辨率處理方法，通常通過上采樣處理后獲得高分辨率圖像。改進(jìn)時(shí)一般對(duì)上采樣過程不斷改進(jìn)，從而提高處理效果。然而，現(xiàn)有的處理方法得到的高分辨率圖像仍然存在清晰度較差，超分辨率處理效果不好的問題。

【發(fā)明內(nèi)容】

本發(fā)明所要解決的技術(shù)問題是：彌補(bǔ)上述現(xiàn)有技術(shù)的不足，提出一種視頻超分辨率處理方法，在提高圖像分辨率的同時(shí)確保圖像清晰度，提高了超分辨率處理效果。

本發(fā)明的技術(shù)問題通過以下的技術(shù)方案予以解決：

一種視頻超分辨率處理方法，包括以下步驟：對(duì)接收的待處理的視頻中的各幀圖像進(jìn)行如下處理操作：1）將當(dāng)前幀圖像劃分為多個(gè)圖像塊；2）對(duì)當(dāng)前幀圖像中的各個(gè)圖像塊，分別進(jìn)行如下處理，得到各個(gè)圖像塊的超分辨率圖像塊：21）在當(dāng)前幀圖像中檢測獲取當(dāng)前圖像塊的相似塊和/或在當(dāng)前幀圖像的前L幀、后K幀圖像中檢測獲取當(dāng)前圖像塊對(duì)應(yīng)的圖像塊的相似塊，得到當(dāng)前圖像塊的多個(gè)相似塊；其中，L和K均為大于等于0的整數(shù)，且L和K不同時(shí)為0，具體取值由用戶根據(jù)處理精度和處理速度的要求進(jìn)行設(shè)定；22）對(duì)當(dāng)前圖像塊的多個(gè)相似塊分別進(jìn)行上采樣處理，得到各相似塊的上采樣圖像塊；23）將各相似塊的上采樣圖像塊融合成一個(gè)超分辨率圖像塊；3）按照各個(gè)圖像塊在當(dāng)前幀圖像中的位置，將各個(gè)圖像塊的超分辨率圖像塊整合成一幅圖像，得到當(dāng)前幀圖像的超分辨率處理圖像。

本發(fā)明與現(xiàn)有技術(shù)對(duì)比的有益效果是：

本發(fā)明的視頻超分辨率處理方法，對(duì)劃分的多個(gè)圖像塊，分別檢測獲取各圖像塊在當(dāng)前幀圖像中相匹配的塊和/或在前后領(lǐng)域幀圖像中相匹配的塊，即獲取了空間域上相近似的圖像塊和/或時(shí)間域上相近似的圖像塊，后續(xù)再進(jìn)行上采樣、圖像塊融合等步驟。這樣，在超分辨率處理過程中充分地利用了視頻序列時(shí)域上以及空域上的信息，即充分利用相似圖像塊中的亞像素信息，確保融合重建依據(jù)的信息量充足，從而在提高圖像分辨率的同時(shí)確保圖像清晰度，提高了超分辨率處理效果。

【附圖說明】

圖1是本發(fā)明具體實(shí)施方式的視頻超分辨率處理方法中對(duì)各幀圖像處理的流程圖；

圖2是本發(fā)明具體實(shí)施方式的視頻超分辨率處理方法中檢測獲取相似塊的方法流程圖；

圖3是本發(fā)明具體實(shí)施方式的視頻超分辨率處理方法中重疊劃分塊時(shí)的示意圖。

【具體實(shí)施方式】

下面結(jié)合具體實(shí)施方式并對(duì)照附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明。

本發(fā)明的構(gòu)思是：　通過研究自相似圖像塊與提高視頻清晰度之間的相關(guān)性，在超分辨率處理的上采樣算法的基礎(chǔ)上，利用相似圖像塊集合中的亞像素信息來實(shí)現(xiàn)超分辨率，從而在提高視頻分辨率的同時(shí)確保重建后圖像的清晰度。超分辨率處理時(shí)，首先將當(dāng)前幀圖像劃分為多個(gè)圖像塊，對(duì)于劃分出來的每一個(gè)圖像塊，在當(dāng)前幀空域上以及時(shí)間域上前后幀尋找與之相似的匹配圖像塊，并將所有相似的匹配圖像塊組合在一起構(gòu)成相似塊集合。然后將相似塊集合中圖像塊分別采用上采樣算法進(jìn)行上采樣，得到上采樣后尺寸較大的相似圖像塊數(shù)組，最后將這些圖像塊數(shù)組融合為一個(gè)圖像塊便得到了超分辨率后的一個(gè)圖像塊。類似地，將當(dāng)前幀內(nèi)劃分出來的所有圖像塊按照上述方法處理便可以得到一幀超分辨率后的圖像。將視頻中各幀圖像均進(jìn)行上述超分辨率處理，即得到分辨率提高且清晰度較好的視頻。

本具體實(shí)施方式中視頻超分辨率處理方法，處理針對(duì)的視頻序列為通過攝像機(jī)、照相機(jī)采集所得，或者通過計(jì)算機(jī)工具所得的視頻序列，數(shù)據(jù)格式不限。處理時(shí)，對(duì)視頻中的各幀圖像均進(jìn)行如圖1所示的超分辨率處理操作，具體包括以下步驟：

U1）將當(dāng)前幀圖像劃分為多個(gè)圖像塊。