[發明專利]一種視頻圖像超分辨率重建方法及裝置

有效

• 申請號: 201611155519.2
• 申請日: 2016-12-14
• 公開（公告）號: CN106600536B
• 公開（公告）日: 2020-02-14
• 發明（設計）人: 史方;王標;樊強
• 申請（專利權）人: 同觀科技(深圳)有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 11363 北京弘權知識產權代理事務所(普通合伙)
• 代理人: 逯長明;許偉群

本發明是關于一種視頻圖像超分辨率重建方法及裝置，包括：獲取運動攝像頭在同一場景拍攝的連續多幀低分辨率圖像；從連續多幀低分辨率圖像中獲得連續多幀低分辨率目標物體圖像；衡量連續多幀低分辨率目標物體圖像的圖像質量，獲取圖像質量最優的低分辨率目標物體圖像；將圖像質量最優的低分辨率目標物體圖像進行單幀超分辨率重建，得到高分辨率待處理幀，高分辨率待處理幀以外的其他低分辨率目標物體圖像進行插值，得到多張高分辨率參考幀；對高分辨率待處理幀和多張高分辨率參考幀進行多幀超分辨率重建，得到超分辨率目標物體圖像。該方法利用單幀超分辨率重建和多幀超分辨率重建相結合，大幅度提高雙動態視頻圖像中目標物體的圖像質量。

技術領域

本發明涉及視頻圖像處理方法技術領域，尤其涉及一種視頻圖像超分辨率重建方法及裝置。

背景技術

隨著我國平安城市建設的開展以及智慧城市建設的啟動，遍布城市各個角落以及各種執法車輛上的攝像頭捕捉的各種視頻信息，在保障城市安全、提高城市管理效能等方面發揮了重要作用。由于目標物體的運動以及攝像頭分辨率低的原因，攝像頭獲得的視頻圖像存在著模糊以及分辨率較低的退化現象，當從視頻圖像中獲取目標物體的相關信息時，首先需要對這些視頻圖像進行超分辨率重建，獲得超分辨率的圖像，進而獲得目標物體的相關信息。

目前的視頻圖像超分辨率重建方法是：獲取同一場景連續多幀的低分辨率圖像，根據所述視頻的連續序列幀，轉換為靜態的JPG或者BMP文件，結合場景參數，選擇一個像元內連續多幀的亞像素圖像；根據多幀亞像素圖像的圖像序列幀，選擇目標物體，并進行塊狀目標的運動估計；根據運動估計結果，采用非均勻內插的重建算法，重建一幅超分辨圖像。

由于攝像頭的狀態不同，獲得的視頻分為單動態視頻和雙動態視頻兩種，所述單動態視頻是指攝像頭固定不動，被拍攝物運動的視頻圖像，所述雙動態視頻是指攝像頭和被拍攝物都運動的視頻圖像。上述視頻圖像超分辨率重建方法在處理單動態視頻圖像時，能夠獲得較清晰的圖像，但是在處理雙動態視頻圖像時，由于拍攝雙動態視頻圖像的攝像頭和被拍攝物體都在運動，致使視頻圖像退化現象更嚴重，導致在利用上述重建方法獲得的超分辨圖像中的目標物體的分辨率低。

發明內容

為克服相關技術中存在的問題，本發明提供一種視頻圖像超分辨率重建方法及裝置。

根據本發明實施例的第一方面，提供一種視頻圖像超分辨率重建方法，包括：

獲取運動攝像頭在同一場景拍攝的連續多幀低分辨率圖像；

從所述連續多幀低分辨率圖像中獲得連續多幀低分辨率目標物體圖像；

衡量所述連續多幀低分辨率目標物體圖像的圖像質量，獲取圖像質量最優的低分辨率目標物體圖像；

將所述圖像質量最優的低分辨率目標物體圖像進行單幀超分辨率重建，得到高分辨率待處理幀，所述高分辨率待處理幀以外的其他低分辨率目標物體圖像進行插值，得到多張高分辨率參考幀；

對所述高分辨率待處理幀和多張高分辨率參考幀進行多幀超分辨率重建，得到超分辨率目標物體圖像。

優選地，所述衡量所述連續多幀低分辨率目標物體圖像的圖像質量，獲取圖像質量最優的低分辨率目標物體圖像，包括：

計算所述連續多幀低分辨率目標物體圖像的平均梯度；

對比所述連續多幀低分辨率目標物體圖像的平均梯度，得到平均梯度最大的低分辨率目標物體圖像；

將所述平均梯度最大的低分辨率目標物體圖像作為圖像質量最優的低分辨率目標物體圖像。

優選地，所述將所述圖像質量最優的低分辨率目標物體圖像進行單幀超分辨率重建，包括：