[發明專利]一種圖像去模糊方法及裝置、存儲介質

有效

• 申請號: 201910570013.5
• 申請日: 2019-06-27
• 公開（公告）號: CN110310242B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 王道燁;張佳維;潘金山;周尚辰;趙富榮;嚴瓊;任思捷
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李昂;張穎玲

本實施例公開一種圖像去模糊方法及裝置、存儲介質，該方法可以包括：獲取至少兩幀相鄰圖像的光流；基于至少兩幀相鄰圖像的光流，獲取第一神經網絡的權重；利用第二神經網絡對至少兩幀相鄰圖像中的第一圖像進行去模糊，得到與第一圖像對應的第二圖像，第一圖像為至少兩幀相鄰圖像中的任一圖像，第二圖像的清晰度高于第一圖像，第二神經網絡的編碼器部分包括至少一個第一神經網絡。

技術領域

本申請涉及圖像處理領域，尤其涉及一種圖像去模糊方法及裝置、存儲介質。

背景技術

由于受到環境和成像設備(如相機的硬件條件)等影響，圖像質量在成像過程中或多或少都會有一定的損失，圖像模糊即為一種常見的圖像降質現象，去除照片中的模糊區域成為了一項極有價值的研究。在動態場景中，由于被拍攝物體的運動和相機抖動同時存在，模糊具有空間移變性質，即動態場景中的模糊在空間上是變化的，這使得大量以模糊核空間不變性為前提的算法失效。傳統的動態場景去模糊的算法，由于其運算時間過長，不具有應用價值，由此，提出了基于卷積神經網絡進行圖像去模糊的方法，基于卷積神經網絡的圖像去模糊方法由于其速度快、圖像恢復質量高，瑕疵少的優點已成為現階段主要的圖像去模糊方法。

然而，現有的圖像去模糊方法增加了將非模糊區域誤檢為模糊區域的風險，進而影響圖像去模糊的準確性。

發明內容

本申請實施例提供一種圖像去模糊方法及裝置、存儲介質，能夠降低非模糊區域被誤檢測為模糊區域的風險，進而提高圖像去模糊的準確性。

本申請的技術方案是這樣實現的：

第一方面，本申請實施例提供一種圖像去模糊方法，所述方法包括：

獲取至少兩幀相鄰圖像的光流；

基于所述至少兩幀相鄰圖像的光流，獲取第一神經網絡的權重；

利用第二神經網絡對所述至少兩幀相鄰圖像中的第一圖像進行去模糊，得到與所述第一圖像對應的第二圖像，所述第一圖像為所述至少兩幀相鄰圖像中的任一圖像，所述第二圖像的清晰度高于所述第一圖像，所述第二神經網絡的編碼器部分包括至少一個所述第一神經網絡。

這樣，基于至少兩幀相鄰圖像的光流，得到第一神經網絡的權重，其中，至少一個第一神經網絡處于第二神經網絡的編碼器部分，當利用第二神經網絡對至少兩幀相鄰圖像中的任一第一圖像進行去模糊時，考慮了幀與幀之間的運動信息，能夠提高檢測為模糊區域的準確性，進而降低了非模糊區域被誤檢測為模糊區域的風險，提高了圖像去模糊的準確性。

在上述方法中，所述光流包括所述至少兩幀相鄰圖像之間的一個或多個尺度的運動特征；所述獲取至少兩幀相鄰圖像的光流，包括：

對所述至少兩幀相鄰圖像進行編碼得到一組圖像編碼特征，所述一組圖像編碼特征中包括多個尺度的圖像編碼特征；

在所述圖像編碼特征為所述一組圖像編碼特征中尺度最小的第一圖像編碼特征的情況下，基于所述第一圖像編碼特征獲取第一運動特征；

在所述圖像編碼特征不為所述一組圖像編碼特征中尺度最小的第二圖像編碼特征的情況下，基于所述第二圖像編碼特征、與所述第二圖像編碼特征相鄰尺度的第三圖像編碼特征以及與所述第二圖像編碼特征尺度相同的運動特征確定第二運動特征，所述光流包括所述第一運動特征以及所述第二運動特征。

這樣，至少兩幀相鄰圖像的光流中包括相鄰幀圖像之間的運動信息，利用包括了相鄰兩幀圖像之間的運動信息，計算第一神經網絡的權重，能夠使得第二神經網絡準確估計出模糊的方向。

在上述方法中，所述獲取至少兩幀相鄰圖像的光流，包括：

基于光流計算神經網絡獲取所述至少兩幀相鄰圖像的光流。