[發(fā)明專利]圖像處理裝置、成像裝置及圖像處理方法

有效

• 申請?zhí)枺?/td>: 201980017621.1
• 申請日: 2019-01-29
• 公開（公告）號: CN111869195B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設計）人: 伊藤厚史;伊利亞·列舍圖斯基
• 申請（專利權）人: 索尼公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;G06T5/00;H04N5/225
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 唐京橋;董娟

本發(fā)明實現(xiàn)了配置，其使得能夠通過圖像處理生成反映諸如無透鏡攝像裝置的掩模與圖像傳感器之間的位置關系信息的攝像裝置特定數據的高精度恢復圖像。該圖像處理裝置包括信號處理單元，由無透鏡攝像裝置的圖像傳感器輸出的捕獲圖像被輸入到該信號處理單元，并且該信號處理單元生成恢復圖像。該信號處理單元通過圖像處理生成恢復圖像，至少基于無透鏡攝像裝置的掩模與圖像傳感器之間的位置關系信息生成的攝像裝置特定數據被應用于該圖像處理。攝像裝置特定數據是通過對參考圖像與對無透鏡攝像裝置的光軸前方的一個點光源進行拍攝而獲得的拍攝圖像進行比較處理而生成的數據，并且參考圖像是估計為在掩模與圖像傳感器的位置關系指示其參考位置的情況下要獲取的模擬圖像。

技術領域

本公開內容涉及圖像處理裝置、成像裝置、圖像處理方法和圖像處理方法。具體地，本公開內容涉及無透鏡攝像裝置(無透鏡成像裝置)、執(zhí)行無透鏡攝像裝置的校準的圖像處理裝置、成像裝置和圖像處理方法。

背景技術

近年來，正在開發(fā)在不使用透鏡的情況下能夠拍攝圖像的無透鏡攝像裝置。常規(guī)的普通攝像裝置通過透鏡將光輸入到作為成像元件的圖像傳感器中，并拍攝圖像。無透鏡攝像裝置使用具有調制光的機制的掩模，例如包括光的透射區(qū)域和非透射區(qū)域的二維圖案以及衍射光柵，而不是透鏡，并且將通過掩模的光輸入到圖像傳感器中。圖像傳感器通過掩模拍攝圖像?？梢酝ㄟ^掩模對成像數據應用預定的信號處理，以生成與普通攝像裝置中的拍攝場景相對應的二維圖像。在無透鏡攝像裝置中透鏡不是必需的。因此，可以實現(xiàn)成像裝置的小型化、重量減輕、成本降低、非平面性等。

如上所述，無透鏡攝像裝置將通過掩模的光輸入到圖像傳感器中。指示來自場景(拍攝場景)的同步輻射如何通過掩模被投影到傳感器上的信息可以被預先定義為矩陣，并且該矩陣和投影到傳感器上的圖像(觀察圖像)可以用于生成再現(xiàn)實際場景的圖像(恢復圖像)。

注意，在例如以下文獻中描述了無透鏡攝像裝置。

專利文獻1(國際公開第WO2016/123529號)。

為了對由無透鏡攝像裝置的圖像傳感器檢測到的信號(觀察信號)應用信號處理，以生成再現(xiàn)實際場景的圖像(恢復圖像)，在該處理中需要考慮各種拍攝條件。

具體地，拍攝條件，例如

(1)圖像傳感器相對于被攝體的幾何位置，

(2)來自被攝體的光輸出的強度和光譜特性，

(3)通過掩模進行的調制，

(4)掩模與傳感器之間的位置和幾何關系，以及

(5)該傳感器的光譜靈敏度特性，

需要被考慮以執(zhí)行信號處理。

特別地，掩模與圖像傳感器之間的位置和幾何關系的物理量的變化顯著影響最終圖像(恢復圖像)。然而，在無透鏡攝像裝置的制造過程中，掩模和傳感器的附接位置的變化不能被減小到零，并且在每個攝像裝置中存在變化。

因此，為了使所制造的無透鏡攝像裝置中的每一個生成并輸出正確的恢復圖像，需要執(zhí)行反映掩模與每個無透鏡攝像裝置特有的圖像傳感器之間的位置關系的處理。在通過假定掩模與圖像傳感器之間的位置和幾何關系與實際關系不同來執(zhí)行信號處理以生成恢復圖像的情況下，恢復圖像可能被破壞。

在專利文獻1中公開了一種對策，其中，顯示裝置(例如，可見光中的LCD)被布置在無透鏡攝像裝置的前面，并且各種垂直和水平線性圖案被呈現(xiàn)給無透鏡攝像裝置，從而計算用于校正掩模與傳感器之間的位置和幾何關系的行列式。