[發明專利]用于訓練非盲圖像去模糊模塊的系統和方法

有效

• 申請號: 202110230767.3
• 申請日: 2021-03-02
• 公開（公告）號: CN113344800B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: M.斯盧茨基
• 申請（專利權）人: 通用汽車環球科技運作有限責任公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/084
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王增強

公開了用于訓練非盲去模糊模塊的方法和系統。接收未模糊的測試圖像和模糊的測試圖像，其中每個模糊的測試圖像通過模糊核項和噪聲項與對應的未模糊的測試圖像之一相關。通過調整正則化去卷積函數的正則化參數和卷積神經網絡的權重來共同訓練正則化去卷積子模塊和卷積神經網絡，以便最小化代表每個去模糊輸出圖像和相應的未模糊的測試圖像之一之間的差異的成本函數。

技術領域

本公開總體上涉及非盲圖像去模糊，并且更具體地涉及用于訓練非盲圖像去模糊模塊的方法和系統。

背景技術

攝像機捕獲的圖像可能由于多種原因而模糊。例如，攝像機在圖像捕獲過程中可能一直在移動或晃動。圖像模糊也可能是由光學像差引起的。色度模糊也很普遍，由此不同波長的折射程度不同。非盲去卷積(deconvolution)技術是已知的，由此通過處理模糊的輸入圖像以獲得更清晰、去模糊的輸出圖像。根據這樣的去卷積技術，利用模糊核將模糊的輸入圖像變換為去模糊的輸出圖像。可以從表示預期模糊效果的性質的點擴展函數來確定模糊核。在將攝像機安裝到行駛中的車輛的情況下，基于車輛運動的知識來推導點擴展函數，并且基于點擴展函數來確定去模糊核。即，模糊源在成像中通常是眾所周知的，并且可以使用直接測量或從模糊物理學的知識得出的點擴展函數(PSF)很好地對模糊過程進行建模。

大多數模糊圖像包括噪聲以及模糊。噪聲進一步使去模糊問題復雜化。典型技術通常會消除模糊，但會增加其他瑕疵。深度神經網絡的蠻力直接應用可能會成功，但僅適用于相對較弱的模糊。此外，由于去卷積方法根據噪聲的影響和模糊核的變化而大大改變，因此使用深度學習技術的方法的準確性和計算速度受到限制。

使用模糊核通常可以將圖像去模糊簡化為去卷積。去卷積是一不適定的逆問題。因此，它應該正則化。正則化參數增加了解決方案的穩定性。但是，優化正則化參數是一項艱巨的任務。如果穩定性過高，可能會導致模糊輸出，而穩定性過低可能會導致噪聲放大。

因此，期望提供非盲圖像去模糊的系統和方法，該系統和方法通過使用正則化去卷積技術來有效地操作，從而有效且最優地選擇了正則化參數以改善去模糊圖像的輸出。此外，結合附圖以及前述技術領域和背景技術，根據隨后的詳細描述和所附權利要求，本發明的其他期望特征和特性將變得顯而易見。

發明內容

根據示例性實施例，提供了一種訓練非盲去模糊模塊的方法。非盲去模糊模塊包括正則化去卷積子模塊和卷積神經網絡子模塊。正則化去卷積子模塊被配置為對模糊的輸入圖像執行正則化去卷積函數，以產生可能具有圖像偽像的去卷積圖像。卷積神經網絡子模塊被配置為接收去卷積圖像作為卷積神經網絡的輸入并去除圖像偽像，從而提供去模糊的輸出圖像。該方法包括經由至少一個處理器接收未模糊的測試圖像和模糊的測試圖像。每個模糊的測試圖像通過模糊核項和噪聲項與相應的未模糊的測試圖像之一相關。該方法包括經由至少一個處理器共同訓練正則化去卷積子模塊和卷積神經網絡。共同訓練包括調整正則化去卷積函數的正則化參數和卷積神經網絡的權重，以最小化代表每個去模糊輸出圖像與對應的未模糊的測試圖像之一之間的差異的成本函數，從而提供訓練后的正則化參數、訓練后的權重和訓練后的非盲去模糊模塊。該方法還包括：經由所述至少一個處理器從成像設備接收模糊的輸入圖像；經由所述至少一個處理器使用訓練的非盲去模糊模塊對所述模糊的輸入圖像進行去模糊；以及經由至少一個處理器，輸出去模糊的輸出圖像。

在實施例中，去卷積函數是維納去卷積函數。在實施例中，去卷積函數是Tikhonov-正則化的去卷積函數。

在實施例中，該方法包括使用訓練的非盲去模糊模塊來對模糊的輸入圖像去模糊，從而產生去模糊的輸出圖像。正則化去卷積子模塊在模糊的輸入圖像上執行正則化去卷積函數以產生可能具有圖像偽像的去卷積圖像，正則化去卷積函數包括訓練后的正則化參數，并且卷積神經網絡子模塊通過卷積神經網絡處理去卷積的圖像以去除圖像偽像，卷積神經網絡包括經過訓練的權重。

在實施例中，卷積神經網絡輸出殘差，并且訓練后的非盲去模糊模塊將殘差添加到去卷積圖像，從而產生去模糊的輸出圖像。