[發明專利]用于去馬賽克的濾波器陣列

在審

• 申請號: 201980011025.2
• 申請日: 2019-01-31
• 公開（公告）號: CN111727453A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 諾伊斯·薩瓦特爾;貝諾特·范達姆;瓦爾特·德拉季奇
• 申請（專利權）人: 交互數字CE專利控股公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/557
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 羅松梅

一種設備，包括具有至少四個塊的圖案的濾波裝置，其中第二塊垂直于第一塊定位，第三塊平行于所述第一塊定位，并且第四塊垂直于所述第三塊且水平于所述第二塊定位；以及從使用濾波后的光線而捕獲的圖像生成新圖像的裝置。

技術領域

本公開涉及嵌入在全光相機中的濾色器陣列。具體但非排他地，本公開涉及一種能夠提供有色的子孔徑圖像并且針對任何整數視差自動地對重新聚焦的圖像去馬賽克的濾色器陣列。

背景技術

通過在主透鏡和傳感器之間布置微透鏡陣列，全光相機能夠測量沿著與傳感器相交的每束光線傳播的光量。由這種相機獲取的數據被稱為光場數據。可以對這些光場數據進行后處理，以從不同的視點重建場景的圖像。光場數據可以用于生成聚焦堆，該聚焦堆包括各自具有不同的重新聚焦深度的圖像的集合。結果，用戶可以改變圖像的焦距。與常規相機相比，全光相機可以通過后處理來獲取附加光學信息分量，以實現從不同視點和重新聚焦深度重建場景圖像。

圖1是示意性地表示全光相機100的圖。如上所述，光場相機能夠記錄四維(或4D)光場數據。全光相機100包括主透鏡101、微透鏡陣列102和像素傳感器104。

在如圖1所示的全光相機100的示例中，主透鏡101接收來自主透鏡101的物場中的物體(圖中未示出)的光，并使該光穿過主透鏡101的像場。微透鏡陣列102包括以二維陣列布置的多個微透鏡103。

濾色器陣列(CFA)通常用于對執行單一測量的像素的各種顏色進行采樣。最常見的CFA圖案是由2×2元素構成的拜耳(Bayer)圖案，并在美國專利3,971,065中公開。

拜耳濾色器陣列可以通過像素傳感器的像素記錄一個紅色、綠色或藍色。從利用傳感器捕獲的原始圖像到彩色圖像(其中每個像素由三種顏色值表示)，必須計算每個像素缺少的兩種顏色。該計算被稱為去馬賽克。

由于拜耳濾色器陣列也與全光相機一起使用，因此利用這種全光相機獲取的4D光場數據也需要去馬賽克，可以在計算二維(2D)重新聚焦圖像的階段執行該去馬賽克。

通常，如圖2A所示，拜耳濾色器陣列位于像素傳感器104的頂部。

重新聚焦的2D圖像的顏色采樣取決于用于獲取光場數據的全光相機的顏色采樣。圖2A示出了具有覆蓋2乘2個像素的微圖像的傳感器。在圖2B中示出了4個子孔徑圖像。通過對具有與聚焦距離相對應的給定偏移(視差)的4個子孔徑圖像進行疊加來計算重新聚焦的圖像。對于任何偏移，當拜耳濾色器陣列如圖2A所示設置在像素的頂部時，每個重新聚焦的像素都從拜耳濾色器陣列接收所有不同顏色的貢獻。拜耳濾色器陣列的這種定位似乎是有意義的，因為無論重新聚焦參數ρ_focus是什么，它都可以提供去馬賽克圖像。但是這種設計不能對在重新聚焦圖像中沒有聚焦的物體產生良好的圖像。

為了克服該缺點，本公開的發明人提交了專利申請EP 3 131 292。在該專利申請中，公開了專用于全光相機的具有M×M尺寸的圖案的濾色器陣列。

專利申請EP 3 131 292公開了一種濾色器陣列圖案，其具有M²種顏色c_m,n，其中(m，n)∈[0，M[。如圖3A所示，將施加在像素(x,y,i,j)上的顏色設置為c_{(x+i)modM，(y+j)modM}。結果形成了覆蓋像素的由pM×pM組成的新濾色器陣列。原始濾色器陣列覆蓋p×p個像素，屬于微透鏡(i,j)的其他像素被原始濾色器陣列覆蓋，但具有“混洗”顏色，如圖3B所示。

子孔徑圖像覆蓋有M²種顏色的濾色器陣列。但是子孔徑圖像S_uv的起始顏色是c_u，v(而不是針對原始濾色器陣列覆蓋像素的常見情況的c_0，0)。這種設計使得針對ρ_focus＝-M,0,+M…完美地對重新聚焦的圖像去馬賽克。此外，這種新設計不受觀察到的離焦的物體的顏色偽像的影響。