[發明專利]一種視頻超分辨率處理方法

有效

• 申請號: 201310689367.4
• 申請日: 2013-12-13
• 公開（公告）號: CN103632359A
• 公開（公告）日: 2014-03-12
• 發明（設計）人: 張磊;肖煜東;索津莉;張永兵;戴瓊海
• 申請（專利權）人: 清華大學深圳研究生院
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 余敏

1.一種視頻超分辨率處理方法，其特征在于：包括以下步驟：對接收的待處理的視頻中的各幀圖像進行如下處理操作：

1）將當前幀圖像劃分為多個圖像塊；

2）對當前幀圖像中的各個圖像塊，分別進行如下處理，得到各個圖像塊的超分辨率圖像塊：

21）在當前幀圖像中檢測獲取當前圖像塊的相似塊和/或在當前幀圖像的前L幀、后K幀圖像中檢測獲取當前圖像塊對應的圖像塊的相似塊，得到當前圖像塊的多個相似塊；其中，L和K均為大于等于0的整數，且L和K不同時為0，具體取值由用戶根據處理精度和處理速度的要求進行設定；

22）對當前圖像塊的多個相似塊分別進行上采樣處理，得到各相似塊的上采樣圖像塊；

23）將各相似塊的上采樣圖像塊融合成一個超分辨率圖像塊；

3）按照各個圖像塊在當前幀圖像中的位置，將各個圖像塊的超分辨率圖像塊整合成一幅圖像，得到當前幀圖像的超分辨率處理圖像。

2.根據權利要求1所述的視頻超分辨率處理方法，其特征在于：所述步驟21）檢測獲取當前圖像塊或者當前圖像塊對應的圖像塊的相似塊時包括如下步驟：100）檢測獲取多個候選塊；200）計算各個候選塊與當前待尋找相似塊的圖像塊的顏色距離；300）比較各個候選塊對應的顏色距離與設定的閾值之間的大小，將顏色距離小于所述閾值的候選塊保留作為當前待尋找相似塊的圖像塊的相似塊。

3.根據權利要求2所述的視頻超分辨率處理方法，其特征在于：所述步驟100）中還包括擴充候選塊的步驟：將得到的所述候選塊對稱翻轉或者左右旋轉多個角度得到多個轉動塊，也作為當前圖像塊的候選塊；其中多個角度為遍布0°～90°范圍內等間隔分布的多個角度。

4.根據權利要求2或3所述的視頻超分辨率處理方法，其特征在于：所述步驟100）和步驟200）之間還包括篩選多個所述候選塊的步驟100’）：a）計算當前圖像塊中像素點的像素值的均值或者方差；b）計算各個候選塊中像素點的像素值的均值或者方差；c）計算步驟b）中均值或者方差與步驟a）中均值或者方差的差值；d）比較所述均值或者方差的差值與設定的均值或者方差的閾值的大小，保留所述差值小于所述閾值的候選塊，去除所述差值大于等于所述閾值的候選塊。

5.根據權利要求2所述的視頻超分辨率處理方法，其特征在于：所述步驟100）包括以下步驟：p）以當前待尋找相似塊的圖像塊為中心，設定W×W大小的窗口，其中，W為用戶設定的經驗值；q）在所述窗口中，取左上角塊，所述左上角塊的形狀、大小與當前待尋找相似塊的圖像塊的形狀、大小相同；r）將所述左上角塊沿著水平向右和豎直向下的方向按設定的步進尺度滑動，得到多個候選塊。

6.根據權利要求1所述的視頻超分辨率處理方法，其特征在于：所述步驟22）中，上采樣處理時采用bicubic/nnedi3插值算法或者SmartEdge上采樣算法。

7.根據權利要求1所述的視頻超分辨率處理方法，其特征在于：所述步驟23）中融合時，對于當前圖像塊中的當前像素點，取各上采樣圖像塊中的相應像素點，計算相應像素點的像素值的中值、平均值或者加權平均值，作為當前像素點在超分辨率圖像塊中的像素值；其中，加權系數根據當前圖像塊與上采樣圖像塊對應的相似塊之間的顏色距離確定，與顏色距離成反比，具體取值為用戶設定的經驗值。

8.根據權利要求1所述的視頻超分辨率處理方法，其特征在于：所述步驟1）中劃分圖像時，將相鄰圖像塊之間重疊2～5個像素點寬度的范圍劃分圖像；所述步驟3）整合時，未重疊的位置處的圖像，直接取相應超分辨率圖像塊中相應像素點的像素值；重疊的位置處的圖像，取重疊處涉及的超分辨率圖像塊中相應像素點的像素值的平均值。

9.根據權利要求1所述的視頻超分辨率處理方法，其特征在于：所述步驟1）中劃分圖像時，按照設定的固定形狀劃分圖像或者根據當前幀圖像中像素點的像素值計算出自適應的圖像塊形狀后按照自適應的圖像塊形狀劃分圖像。

10.根據權利要求1所述的視頻分辨率處理方法，其特征在于：還包括輸出視頻的步驟：將處理后得到的各幀超分辨率處理圖像按照時間順序進行整合，輸出超分辨率處理后的視頻。