[發明專利]圖像重建模型的訓練方法、圖像重建方法及其裝置

在審

• 申請號: 202110237930.9
• 申請日: 2021-03-04
• 公開（公告）號: CN113076685A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 陳帥軍;徐芳;賈旭;喬振東;杜澤偉;劉健莊
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08;G06T1/20;G06T1/60
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 周喬;王君

本申請涉及人工智能領域，具體涉及計算機視覺領域，提供了一種圖像重建模型的訓練方法、圖像重建方法及其裝置，該訓練方法主要使得圖像重建模型能夠將重建的高清圖像進行再模糊處理，之后將再模糊處理后得到的圖像與原始輸入的模糊圖像進行比較，相當于增加了這個約束條件，從而使得利用訓練好的圖像重建模型重建得到的高清圖像幀序列更加接近原始輸入的模糊圖像的真實數據，提高重建質量和重建效果。相當于從事件數據和模糊圖像中挖掘出了更多的特征，從而提高了重建質量。

技術領域

本申請涉及人工智能中的計算機視覺領域，具體涉及一種圖像重建模型的訓練方法、 圖像重建方法及其裝置。

背景技術

運動模糊一般發生在曝光時間內有明顯運動的場景，特別是輕量級移動設備在低光環 境下，例如手機和車載相機。雖然運動模糊導致不希望的圖像退化，使得視覺內容變得不 易解釋，但運動模糊圖像還編碼關于照相機和觀察場景之間相對運動的豐富信息。因此， 從單個運動模糊圖像中恢復(重建)清晰幀序列(photo-sequencing)，有助于理解場景的動 態，并在圖像重建、自動駕駛和視頻監控中具有廣泛的應用。運動模糊的圖像可以看作曝 光時間內高清幀的平均值。由于平均會破壞幀的時間順序，因此從單個運動模糊圖像中恢 復一組清晰的幀序列是非常不恰當的，也就是說待恢復的序列不具有唯一性，可能存在不 同高清幀的序列組成相同的運動模糊圖像。

為了解決待恢復序列的不唯一性，引入了事件相機，事件相機可以提供時間序列幀間 變化來引導序列的恢復。事件相機是生物啟發、事件驅動、基于時間的神經形態視覺傳感 器，它以與傳統相機截然不同的原理感知世界，通過異步工作測量亮度變化，一旦變化超 過閾值，就會觸發事件。事件相機摒棄了傳統強度相機中曝光時間和幀等概念，能夠以無 幀模式(微秒時間分辨率)捕捉幾乎連續的運動，因此不會遇到像模糊這樣的問題。利用 事件攝像機將非常有助于從模糊的圖像中恢復清晰的幀。

現有技術中，基于單張運動模糊圖像重建視頻序列的方法，引入事件相機數據，通過 關聯事件數據與清晰圖像，對運動模糊生成過程進行建模(即得到圖像重建模型)。但由于事件數據有很大噪聲且事件觸發的閾值不恒定，使得圖像恢復過程中容易出現噪聲累加，導致圖像重建模型性能難以提升，重建出來的高清圖像的質量較低，且現有圖像重建模型的求取過程計算復雜度高、計算效率低。

因此，如何提高模糊圖像的重建質量是亟待解決的技術問題。

發明內容

本申請提供一種圖像重建模型的訓練方法、圖像重建方法及其裝置，能夠有效提高模 糊圖像的重建質量。

第一方面，提供了一種圖像重建模型的訓練方法，該訓練方法包括：獲取待訓練模糊 圖像和待訓練事件數據，待訓練模糊圖像是多幀第一高清圖像的平均值，待訓練事件數據 包括待訓練模糊圖像對應的時間段內的事件點；利用待訓練模糊圖像和待訓練事件數據對 圖像重建模型進行訓練，得到目標圖像重建模型，在訓練過程中，根據約束條件更新圖像 重建模型的參數以得到目標圖像重建模型，約束條件包括使得待訓練模糊圖像與再模糊圖 像的差值最小，再模糊圖像是對多幀第二高清圖像進行處理得到的，上述多幀第二高清圖 像則是利用圖像重建模型對待訓練模糊圖像和待訓練事件數據進行處理得到的。

在本申請技術方案中，主要使得圖像重建模型能夠將重建的高清圖像(第二高清圖像) 進行再模糊處理，之后將模糊處理后得到的圖像(再模糊圖像)與原始輸入的模糊圖像(待 訓練模糊圖像)進行比較，相當于增加了這個約束條件，從而使得利用訓練好的圖像重建 模型重建得到的高清圖像幀序列更加接近原始輸入的模糊圖像的真實數據，提高重建質量 和重建效果。相當于從事件數據和模糊圖像中挖掘出了更多的特征，從而提高了重建質量。 該約束條件可以稱之為自一致性約束。

對多幀第二高清圖像進行再模糊處理的方法可以有多種，例如可以是直接對多幀第二 高清圖像進行處理，又例如可以是結合光流估計結果和第二高清圖像來進行處理。