[發明專利]一種圖像超分重建方法、圖像超分重建裝置及移動終端

有效

• 申請號: 201911066747.6
• 申請日: 2019-11-04
• 公開（公告）號: CN110827200B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 賈玉虎
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/30
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李娟

本申請公開了一種圖像超分重建方法、圖像超分重建裝置、移動終端及計算機可讀存儲介質，其中，該方法包括：在獲取到低分辨率的連續N幀YUV圖像后，提取得到N幀亮度圖像及N幀色度圖像，并對N幀亮度圖像依次進行銳度估計、圖像配準及基于神經網絡的圖像重建操作，同時還對N幀色度圖像進行圖像重建操作，并將重建后的色圖圖像與亮度圖像融合在一起，得到目標YUV圖像。通過本申請方案，將神經網絡作為圖像重建的主體，可以有效的抵御因圖像配準誤差而帶來的鬼影、紋理模糊及其他人工偽像，保障了重建圖像的圖像質量。

技術領域

本申請屬于圖像處理技術領域，尤其涉及一種圖像超分重建方法、圖像超分重建裝置、移動終端及計算機可讀存儲介質。

背景技術

由于多幀圖像在拍照過程中存在亞像素位移，這使得多幀圖像包含了更高分辨率的信息，基于此，當前已提出基于多幀圖像的超分辨率重建方法。現有的超分辨率重建方法一般包括圖像配準和融合重建這兩個主要步驟，其中，圖像配準的質量決定后續的融合重建操作是否能夠準確利用多幀圖像所包含的高分辨率的信息。然而，由于圖像配準往往計算量龐大，且極易受運動模式(例如手抖)和圖像質量的影響，這將不可避免產生配準誤差，而配準誤差又將轉換為重建誤差，使得最終所得的重建圖像的質量受到制約。

發明內容

有鑒于此，本申請提供了一種圖像超分重建方法、圖像超分重建裝置、移動終端及計算機可讀存儲介質，可以有效抵御因圖像配準誤差而帶來的鬼影、紋理模糊及其他人工偽像，保障重建圖像的圖像質量。

本申請的第一方面提供了一種圖像超分重建方法，包括：

獲取低分辨率的連續N幀YUV圖像，其中，N為大于1的正整數；

提取每一幀YUV圖像所對應的亮度圖像及色度圖像，得到N幀亮度圖像及N幀色度圖像；

在上述N幀亮度圖像中，根據各幀亮度圖像的銳度確定上述N幀亮度圖像中的參考幀，記為亮度參考幀；

將上述亮度圖像中除上述亮度參考幀之外的其它幀與上述亮度參考幀進行圖像配準，得到各個其它幀相對于上述亮度參考幀的偏移量；

基于各個其它幀相對于上述亮度參考幀的偏移量，通過已訓練的神經網絡對上述N幀亮度圖像進行融合，得到高分辨率的目標亮度圖像；

基于色度參考幀，對上述N幀色度圖像進行插值處理，得到高分辨率的目標色度圖像，其中，上述色度參考幀為上述N幀色度圖像中，與上述亮度參考幀相關聯的色度圖像；

根據上述目標亮度圖像及上述目標色度圖像合成得到目標YUV圖像。

本申請的第二方面提供了一種圖像超分重建裝置，包括：

圖像獲取單元，用于獲取低分辨率的連續N幀YUV圖像，其中，N為大于1的正整數；

圖像提取單元，用于提取每一幀YUV圖像所對應的亮度圖像及色度圖像，得到N幀亮度圖像及N幀色度圖像；

亮度參考幀確定單元，用于在上述N幀亮度圖像中，根據各幀亮度圖像的銳度確定上述N幀亮度圖像中的參考幀，記為亮度參考幀；

亮度圖像配準單元，用于將上述亮度圖像中除上述亮度參考幀之外的其它幀與上述亮度參考幀進行圖像配準，得到各個其它幀相對于上述亮度參考幀的偏移量；

亮度圖像重建單元，用于基于各個其它幀相對于上述亮度參考幀的偏移量，通過已訓練的神經網絡對上述N幀亮度圖像進行融合，得到高分辨率的目標亮度圖像；

色度圖像重建單元，用于基于色度參考幀，對上述N幀色度圖像進行插值處理，得到高分辨率的目標色度圖像，其中，上述色度參考幀為上述N幀色度圖像中，與上述亮度參考幀相關聯的色度圖像；

圖像融合單元，用于根據上述目標亮度圖像及上述目標色度圖像合成得到目標YUV圖像。