[發(fā)明專利]一種視頻超分辨率處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310689367.4
• 申請(qǐng)日: 2013-12-13
• 公開（公告）號(hào): CN103632359A
• 公開（公告）日: 2014-03-12
• 發(fā)明（設(shè)計(jì)）人: 張磊;肖煜東;索津莉;張永兵;戴瓊海
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳研究生院
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 余敏

1.一種視頻超分辨率處理方法，其特征在于：包括以下步驟：對(duì)接收的待處理的視頻中的各幀圖像進(jìn)行如下處理操作：

1）將當(dāng)前幀圖像劃分為多個(gè)圖像塊；

2）對(duì)當(dāng)前幀圖像中的各個(gè)圖像塊，分別進(jìn)行如下處理，得到各個(gè)圖像塊的超分辨率圖像塊：

21）在當(dāng)前幀圖像中檢測(cè)獲取當(dāng)前圖像塊的相似塊和/或在當(dāng)前幀圖像的前L幀、后K幀圖像中檢測(cè)獲取當(dāng)前圖像塊對(duì)應(yīng)的圖像塊的相似塊，得到當(dāng)前圖像塊的多個(gè)相似塊；其中，L和K均為大于等于0的整數(shù)，且L和K不同時(shí)為0，具體取值由用戶根據(jù)處理精度和處理速度的要求進(jìn)行設(shè)定；

22）對(duì)當(dāng)前圖像塊的多個(gè)相似塊分別進(jìn)行上采樣處理，得到各相似塊的上采樣圖像塊；

23）將各相似塊的上采樣圖像塊融合成一個(gè)超分辨率圖像塊；

3）按照各個(gè)圖像塊在當(dāng)前幀圖像中的位置，將各個(gè)圖像塊的超分辨率圖像塊整合成一幅圖像，得到當(dāng)前幀圖像的超分辨率處理圖像。

2.根據(jù)權(quán)利要求1所述的視頻超分辨率處理方法，其特征在于：所述步驟21）檢測(cè)獲取當(dāng)前圖像塊或者當(dāng)前圖像塊對(duì)應(yīng)的圖像塊的相似塊時(shí)包括如下步驟：100）檢測(cè)獲取多個(gè)候選塊；200）計(jì)算各個(gè)候選塊與當(dāng)前待尋找相似塊的圖像塊的顏色距離；300）比較各個(gè)候選塊對(duì)應(yīng)的顏色距離與設(shè)定的閾值之間的大小，將顏色距離小于所述閾值的候選塊保留作為當(dāng)前待尋找相似塊的圖像塊的相似塊。

3.根據(jù)權(quán)利要求2所述的視頻超分辨率處理方法，其特征在于：所述步驟100）中還包括擴(kuò)充候選塊的步驟：將得到的所述候選塊對(duì)稱翻轉(zhuǎn)或者左右旋轉(zhuǎn)多個(gè)角度得到多個(gè)轉(zhuǎn)動(dòng)塊，也作為當(dāng)前圖像塊的候選塊；其中多個(gè)角度為遍布0°～90°范圍內(nèi)等間隔分布的多個(gè)角度。

4.根據(jù)權(quán)利要求2或3所述的視頻超分辨率處理方法，其特征在于：所述步驟100）和步驟200）之間還包括篩選多個(gè)所述候選塊的步驟100’）：a）計(jì)算當(dāng)前圖像塊中像素點(diǎn)的像素值的均值或者方差；b）計(jì)算各個(gè)候選塊中像素點(diǎn)的像素值的均值或者方差；c）計(jì)算步驟b）中均值或者方差與步驟a）中均值或者方差的差值；d）比較所述均值或者方差的差值與設(shè)定的均值或者方差的閾值的大小，保留所述差值小于所述閾值的候選塊，去除所述差值大于等于所述閾值的候選塊。

5.根據(jù)權(quán)利要求2所述的視頻超分辨率處理方法，其特征在于：所述步驟100）包括以下步驟：p）以當(dāng)前待尋找相似塊的圖像塊為中心，設(shè)定W×W大小的窗口，其中，W為用戶設(shè)定的經(jīng)驗(yàn)值；q）在所述窗口中，取左上角塊，所述左上角塊的形狀、大小與當(dāng)前待尋找相似塊的圖像塊的形狀、大小相同；r）將所述左上角塊沿著水平向右和豎直向下的方向按設(shè)定的步進(jìn)尺度滑動(dòng)，得到多個(gè)候選塊。

6.根據(jù)權(quán)利要求1所述的視頻超分辨率處理方法，其特征在于：所述步驟22）中，上采樣處理時(shí)采用bicubic/nnedi3插值算法或者SmartEdge上采樣算法。

7.根據(jù)權(quán)利要求1所述的視頻超分辨率處理方法，其特征在于：所述步驟23）中融合時(shí)，對(duì)于當(dāng)前圖像塊中的當(dāng)前像素點(diǎn)，取各上采樣圖像塊中的相應(yīng)像素點(diǎn)，計(jì)算相應(yīng)像素點(diǎn)的像素值的中值、平均值或者加權(quán)平均值，作為當(dāng)前像素點(diǎn)在超分辨率圖像塊中的像素值；其中，加權(quán)系數(shù)根據(jù)當(dāng)前圖像塊與上采樣圖像塊對(duì)應(yīng)的相似塊之間的顏色距離確定，與顏色距離成反比，具體取值為用戶設(shè)定的經(jīng)驗(yàn)值。

8.根據(jù)權(quán)利要求1所述的視頻超分辨率處理方法，其特征在于：所述步驟1）中劃分圖像時(shí)，將相鄰圖像塊之間重疊2～5個(gè)像素點(diǎn)寬度的范圍劃分圖像；所述步驟3）整合時(shí)，未重疊的位置處的圖像，直接取相應(yīng)超分辨率圖像塊中相應(yīng)像素點(diǎn)的像素值；重疊的位置處的圖像，取重疊處涉及的超分辨率圖像塊中相應(yīng)像素點(diǎn)的像素值的平均值。

9.根據(jù)權(quán)利要求1所述的視頻超分辨率處理方法，其特征在于：所述步驟1）中劃分圖像時(shí)，按照設(shè)定的固定形狀劃分圖像或者根據(jù)當(dāng)前幀圖像中像素點(diǎn)的像素值計(jì)算出自適應(yīng)的圖像塊形狀后按照自適應(yīng)的圖像塊形狀劃分圖像。

10.根據(jù)權(quán)利要求1所述的視頻分辨率處理方法，其特征在于：還包括輸出視頻的步驟：將處理后得到的各幀超分辨率處理圖像按照時(shí)間順序進(jìn)行整合，輸出超分辨率處理后的視頻。