[發明專利]圖像處理方法、裝置和系統、攝像裝置及存儲介質

有效

• 申請號: 201910926316.6
• 申請日: 2019-09-27
• 公開（公告）號: CN111010504B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 日淺法人
• 申請（專利權）人: 佳能株式會社
• 主分類號: H04N5/232
• 分類號: H04N5/232;G06T5/20;G06N3/04
• 代理公司: 北京怡豐知識產權代理有限公司 11293
• 代理人: 遲軍

本發明提供圖像處理方法、裝置和系統、攝像裝置及存儲介質。該圖像處理方法被構造為使用神經網絡來校正拍攝圖像，所述圖像處理方法包括：第一步驟，其根據作為拍攝圖像的一部分的部分圖像在拍攝圖像中的位置，確定部分圖像的反轉軸或神經網絡的濾波器；第二步驟，其確定輸入到與反轉軸相對應的神經網絡的圖像中的各顏色分量的像素間的位置關系；以及第三步驟，其通過使用神經網絡對基于位置關系而根據拍攝圖像生成的輸入圖像進行處理，來生成通過對輸入圖像進行校正而獲得的校正圖像。

技術領域

本發明涉及一種對拍攝圖像的光學性能劣化進行校正的圖像處理方法。

背景技術

傳統上已經提出了一種通過深度學習來解決回歸問題并且基于輸入圖像估計各種輸出圖像的技術。深度學習是使用多層神經網絡的機器學習。通過多層而引入的強非線性以及通過使用大量學習圖像進行學習而實現的高泛化性能，使得能夠對未知輸入圖像進行高精度估計。

X.Mao,C.Shen,Y.Yang,“Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections(使用具有對稱跳躍連接的卷積自動編碼器的圖像恢復)”,https://arxiv.org/abs/1606.08921.(“Mao et al.”)公開了一種適用于各種回歸問題的卷積神經網絡(convolutional neural network,CNN)的構造。Mao等人公開了使用卷積神經網絡對輸入圖像的上采樣、JPEG去塊(去除壓縮噪聲)、去噪、非盲模糊校正和修復。

然而，在Mao等人公開的方法校正拍攝圖像的光學性能劣化的情況下，保留的濾波器的數據量增加或校正精度降低。光學性能劣化是指，由用于對拍攝圖像進行拍攝的攝像光學系統的像差和衍射而引起的模糊、由光學低通濾波器或圖像傳感器中的像素孔徑而引起的模糊等。在下文中，光學性能劣化將被簡稱為模糊。

攝像光學系統的像差根據變焦、F數(光圈值)、對焦距離、圖像高度和方位而改變。因此，Mao等人公開的只校正單個模糊的方法不能校正由攝像光學系統拍攝的所有拍攝圖像。盡管可以針對具有不同變焦、F數、對焦距離、圖像高度或方位的多個模糊中的各個單獨地學習并校正濾波器，但是要存儲的濾波器數據量變得巨大。

另一種可想到的方法是共同地學習具有不同變焦、F數、對焦距離、圖像高度和方位的所有多個模糊。這可以通過為所有多個模糊準備地面真實圖像和模糊圖像、并通過將它們進行混合以學習CNN來實現。然而，如果多個模糊包括非常不同的模糊，則不能獲得高校正效果。

發明內容

本發明提供各自可以在減少數據量的同時以高精度校正拍攝圖像的光學性能劣化的圖像處理方法、圖像處理裝置、攝像裝置、程序及存儲介質。

根據本發明的一方面的圖像處理方法被構造為使用神經網絡來校正拍攝圖像，并且包括：第一步驟，其根據作為拍攝圖像的一部分的部分圖像在拍攝圖像中的位置，確定部分圖像的反轉軸或神經網絡的濾波器；第二步驟，其確定輸入到與反轉軸相對應的神經網絡的圖像中的各顏色分量的像素間的位置關系；以及第三步驟，其通過使用神經網絡對基于位置關系而根據拍攝圖像生成的輸入圖像進行處理，來生成通過對輸入圖像進行校正而獲得的校正圖像。

根據本發明的另一方面的圖像處理裝置包括：反轉確定器，其被構造為根據作為拍攝圖像的一部分的部分圖像在拍攝圖像中的位置，確定部分圖像的反轉軸或神經網絡的濾波器；顏色確定器，其被構造為確定輸入到與反轉軸相對應的神經網絡的圖像中的各顏色分量的像素間的位置關系；以及發送器，其被構造為向使用神經網絡來校正拍攝圖像的其他處理裝置發送，基于位置關系而根據拍攝圖像生成的輸入圖像。所述其他處理裝置通過使用神經網絡處理接收的輸入圖像，來通過校正輸入圖像生成校正圖像。

根據本發明的另一方面的攝像裝置包括：攝像部，其被構造為拍攝被攝體圖像；以及上述圖像處理裝置。