[發明專利]一種基于遷移學習的圖像超分辨率方法及系統

有效

• 申請號: 201610791756.1
• 申請日: 2016-08-31
• 公開（公告）號: CN106327428B
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 蘇美;鐘圣華;江健民
• 申請（專利權）人: 深圳大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 44350 深圳青年人專利商標代理有限公司
• 代理人: 傅俏梅

1.一種基于遷移學習的圖像超分辨率方法，其特征在于，所述方法包括下述步驟：

通過對高分辨率圖像進行降采樣，得到低分辨率圖像，所述高分辨率圖像包括：原始圖像以及遷移圖像；

根據所述高分辨率圖像以及所述低分辨率圖像，提取高分辨率圖像和低分辨率圖像的特征對；

對于每個低分辨率圖像的特征，通過計算低分辨率鄰域以及對應的高分辨率鄰域，以得到投影矩陣；

在重構時，根據所述低分辨率圖像的特征以及所述投影矩陣，形成重構后的高分辨率圖像，

所述對于每個低分辨率圖像的特征，通過計算低分辨率鄰域以及對應的高分辨率鄰域，以得到投影矩陣的步驟，包括：

構造低分辨率稀疏字典以及對應的高分辨率稀疏字典；

獲取每個低分辨率圖像的特征在所述低分辨率稀疏字典中的字典原子，以得到低分辨率鄰域以及對應的高分辨率鄰域，所述字典原子為在所述低分辨率稀疏字典中距離所述低分辨率圖像的特征最近的原子；

通過低分辨率鄰域以及對應的高分辨率鄰域，得到與所述字典原子對應的投影矩陣。

2.如權利要求1所述的方法，其特征在于，所述通過對高分辨率圖像進行降采樣，得到低分辨率圖像的步驟，包括：

獲取原始圖像以及遷移圖像，作為所述高分辨率圖像，所述遷移圖像為在區別于所述原始圖像所屬領域中隨機選擇的圖像；

將所述高分辨率圖像轉換為YCbCr空間圖像；

根據預設的放大系數，依次對所述高分辨率圖像進行降采樣、插值運算，得到所述低分辨率圖像。

3.如權利要求1所述的方法，其特征在于，所述根據所述高分辨率圖像以及所述低分辨率圖像，提取高分辨率圖像和低分辨率圖像的特征對的步驟，包括：

使用預設數量的高通濾波器，對所述低分辨率圖像進行濾波，得到濾波后的低分辨率圖像；

分別對所述濾波后的低分辨率圖像以及高分辨率圖像進行網格化，提取高分辨率圖像和低分辨率圖像的特征對。

4.如權利要求1所述的方法，其特征在于，所述在重構時，根據所述低分辨率圖像的特征以及所述投影矩陣，形成重構后的高分辨率圖像的步驟，包括：

重構時，提取低分辨率圖像的特征，并獲取在所述低分辨率稀疏字典中對應的字典原子；

根據所述字典原子，獲取與所述字典原子對應的投影矩陣；

根據所述低分辨率圖像的特征以及所述投影矩陣，得到高分辨率圖像碎片；

將所述高分辨率圖像碎片進行合并，形成重構后的高分辨率圖像。

5.一種基于遷移學習的圖像超分辨率系統，其特征在于，所述系統包括：

低分辨率圖像獲取單元，用于通過對高分辨率圖像進行降采樣，得到低分辨率圖像，所述高分辨率圖像包括：原始圖像以及遷移圖像；

特征對提取單元，用于根據所述高分辨率圖像以及所述低分辨率圖像，提取高分辨率圖像和低分辨率圖像的特征對；

投影矩陣獲取單元，用于對于每個低分辨率圖像的特征，通過計算低分辨率鄰域以及對應的高分辨率鄰域，以得到投影矩陣；以及

高分辨率圖像重構單元，用于在重構時，根據所述低分辨率圖像的特征以及所述投影矩陣，形成重構后的高分辨率圖像，

所述投影矩陣獲取單元包括：

稀疏字典構造單元，用于構造低分辨率稀疏字典以及對應的高分辨率稀疏字典；

鄰域獲取單元，用于獲取每個低分辨率圖像的特征在所述低分辨率稀疏字典中的字典原子，以得到低分辨率鄰域以及對應的高分辨率鄰域，所述字典原子為在所述低分辨率稀疏字典中距離所述低分辨率圖像的特征最近的原子；以及

投影矩陣獲取子單元，用于通過低分辨率鄰域以及對應的高分辨率鄰域，得到與所述字典原子對應的投影矩陣。

6.如權利要求5所述的系統，其特征在于，所述低分辨率圖像獲取單元包括：

圖像遷移單元，用于獲取原始圖像以及遷移圖像，作為所述高分辨率圖像，所述遷移圖像為在區別于所述原始圖像所屬領域中隨機選擇的圖像；

圖像轉換單元，用于將所述高分辨率圖像轉換為YCbCr空間圖像；以及

低分辨率圖像獲取子單元，用于根據預設的放大系數，依次對所述高分辨率圖像進行降采樣、插值運算，得到所述低分辨率圖像。