[發明專利]一種圖像超分重建方法、圖像超分重建裝置及移動終端

有效

• 申請號: 201911066747.6
• 申請日: 2019-11-04
• 公開（公告）號: CN110827200B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 賈玉虎
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/30
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李娟

1.一種圖像超分重建方法，其特征在于，包括：

獲取低分辨率的連續N幀YUV圖像，其中，N為大于1的正整數；

提取每一幀YUV圖像所對應的亮度圖像及色度圖像，得到N幀亮度圖像及N幀色度圖像；

在所述N幀亮度圖像中，根據各幀亮度圖像的銳度確定所述N幀亮度圖像中的參考幀，記為亮度參考幀；

將所述亮度圖像中除所述亮度參考幀之外的其它幀與所述亮度參考幀進行圖像配準，得到各個其它幀相對于所述亮度參考幀的偏移量；

基于各個其它幀相對于所述亮度參考幀的偏移量，通過已訓練的神經網絡對所述N幀亮度圖像進行融合，得到高分辨率的目標亮度圖像；

基于色度參考幀，對所述N幀色度圖像進行插值處理，得到高分辨率的目標色度圖像，其中，所述色度參考幀為所述N幀色度圖像中，與所述亮度參考幀相關聯的色度圖像；

根據所述目標亮度圖像及所述目標色度圖像合成得到目標YUV圖像；

所述將所述亮度圖像中除所述亮度參考幀之外的其它幀與所述亮度參考幀進行圖像配準，得到各個其它幀相對于所述亮度參考幀的偏移量，包括：

分別對待匹配幀及所述亮度參考幀進行特征點檢測，其中，所述待匹配幀為所述亮度圖像中的其它幀中的任一幀；

計算所述待匹配幀的各個特征點與所述亮度參考幀的對應特征點的歐式距離；

基于所述待匹配幀的各個特征點與所述亮度參考幀的對應特征點的歐式距離，求解所述待匹配幀對所述亮度參考幀的單應性矩陣，以得到所述待匹配幀相對于所述亮度參考幀的偏移量。

2.如權利要求1所述的圖像超分重建方法，其特征在于，所述在所述N幀亮度圖像中，根據各幀亮度圖像的銳度確定所述N幀亮度圖像中的參考幀，記為亮度參考幀，包括：

計算各幀亮度圖像的銳度值；

將銳度值最大的亮度圖像確定為所述N幀亮度圖像中的參考幀。

3.如權利要求2所述的圖像超分重建方法，其特征在于，所述計算各幀亮度圖像的銳度值，包括：

將目標亮度圖像劃分為兩個以上子圖像區域，其中，所述目標亮度圖像為所述N幀亮度圖像中的任一幀亮度圖像；

獲取所述目標亮度圖像中各個像素點的亮度值；

基于各個像素點的亮度值，確定每一子圖像區域中的最大亮度值及最小亮度值；

基于各個子圖像區域中的最大亮度值及最小亮度值，通過預設的銳利度參考模型對所述目標亮度圖像進行銳度估計，得到所述目標亮度圖像的銳度值。

4.如權利要求1所述的圖像超分重建方法，其特征在于，所述分別對待匹配幀及所述亮度參考幀進行特征點檢測，包括：

基于預設的尺度不變特征變換算法，分別對所述待匹配幀及所述亮度參考幀進行特征點檢測。

5.如權利要求1所述的圖像超分重建方法，其特征在于，所述計算所述待匹配幀的各個特征點與所述亮度參考幀的對應特征點的歐式距離，包括：

根據每一特征點的所處區域中所包含的其它像素點，構建每一特征點的梯度直方圖；

基于每一特征點的梯度直方圖，生成每一特征點的特征向量；

根據各個特征點的特征向量，計算所述待匹配幀的各個特征點與所述亮度參考幀的對應特征點的歐式距離。

6.如權利要求1所述的圖像超分重建方法，其特征在于，所述神經網絡包括特征提取層，特征轉換層、放大層及融合層，其中，所述特征提取層用于提取各幀亮度圖像的線性特征；

所述特征轉換層用于對各幀亮度圖像的線性特征進行轉換，以得到各幀亮度圖像的非線性特征；

所述放大層用于將所述特征轉換層輸出的圖像進行插值處理，以放大至預設尺寸；

所述融合層用于將放大后的圖像進行融合，得到高分辨率的目標亮度圖像。