[發明專利]一種圖像增強模型的訓練方法、裝置及存儲介質

在審

• 申請號: 202010534243.9
• 申請日: 2020-06-12
• 公開（公告）號: CN111709890A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 張亮
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06T5/50;G06T7/13;G06K9/62;G06N3/08
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 白瑩

本公開涉及一種圖像增強模型的訓練方法、裝置及存儲介質，此方法包括：將每個訓練輸入圖像組輸入圖像增強模型，獲得圖像增強模型輸出的預測圖像；使用與每個訓練對分別對應的損失函數，訓練圖像增強模型直至收斂；損失函數包括與多個頻率區間一一對應的多個灰度損失分量，每個灰度損失分量是基于每個頻率區間內預測圖像的灰度分頻圖像與對應的目標圖像的灰度分頻圖像之間的差值確定的，不同的灰度損失分量對應于不同的頻率區間。本公開中，使損失函數體現相應訓練對中預測圖像和目標圖像的細節內容信息和語義信息，有效緩解圖像增強模型訓練過程中的不適定問題導致的過平滑問題。

技術領域

本公開涉及圖像處理技術，尤其涉及一種圖像增強模型的訓練方法、裝置及存儲介質。

背景技術

移動終端一般都具有拍照功能。移動終端中的圖像傳感器采樣率不足，以及來源于圖像采集、傳輸、壓縮等各個方面的噪聲導致移動終端拍攝到的圖像存在細節丟失以及過多彩噪的問題。在低光環境下拍攝的圖像和視頻也存在此問題，并且此問題在小光圈攝像頭的智能手機所拍攝的圖像中更為嚴重。另外，采集圖像過程中，采樣率較低時還會導致混疊現象。

隨著用戶對圖像效果的需求不斷提高，如何進一步提高圖像解析力、豐富圖像細節和減少圖像噪聲是一直需要解決的技術問題。

傳統的圖像增強方法中，對多個圖像中相同位置的像素進行加權平均獲得處理后的圖像，達到去噪效果，或者進行亞像素對齊和圖像融合來保持圖像中位于高頻部分的細節。如何有效地選擇合適的像素點進行加權融合以及完成亞像素對齊是影響圖像增強效果的關鍵。

隨著深度學習技術的快速發展，人們開始使用深度圖像增強模型來完成圖像增強。首先，使用大量的自然圖像作為訓練數據，使深度圖像增強模型學習低質量圖像到高質量圖像之間的映射，但是大部分深度圖像增強模型存在過平滑的問題，難以有效的在進行去噪的同時增強圖像細節，其中深度圖像增強模型中的損失函數對此效果的影響非常大。考慮到圖像復原屬于低特征級視覺任務，目前通常采用像素級損失函數。

發明內容

為克服相關技術中存在的問題，本公開提供一種圖像增強模型的訓練方法、裝置及存儲介質。

根據本文實施例的第一方面，提供了一種圖像增強模型的訓練方法，包括：

確定通過拍攝設備拍攝的多個樣本圖像組；

確定每個樣本圖像組相關聯的目標圖像以及訓練輸入圖像組；

構建多個訓練對，每個訓練對包括一個訓練輸入圖像組和對應的目標圖像；

將每個訓練輸入圖像組輸入所述圖像增強模型，獲得所述圖像增強模型輸出的預測圖像；

將所述預測圖像的灰度分量圖像進行分頻處理，獲得所述預測圖像在多個頻率區間的灰度分頻圖像，并將對應的目標圖像的灰度分量圖像進行分頻處理，獲得所述目標圖像在所述多個頻率區間的灰度分頻圖像；

使用與每個訓練對分別對應的損失函數，訓練所述圖像增強模型直至收斂；

所述損失函數包括與所述多個頻率區間一一對應的多個灰度損失分量，每個灰度損失分量是基于每個頻率區間內所述預測圖像的灰度分頻圖像與對應的目標圖像的灰度分頻圖像之間的差值確定的，不同的灰度損失分量對應于不同的頻率區間。

在一實施方式中，表征頻率越高的頻率區間對應的灰度損失分量中的加權系數越大。

在一實施方式中，所述損失函數包括兩個灰度損失分量；所述兩個灰度損失分量包括低頻損失分量和高頻損失分量；