[發明專利]攝像機模塊及其超分辨率圖像處理方法

有效

• 申請號: 201980028015.X
• 申請日: 2019-02-21
• 公開（公告）號: CN112020853B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 李昌奕;金大根;金碩賢
• 申請（專利權）人: LG伊諾特有限公司
• 主分類號: H04N5/225
• 分類號: H04N5/225;G06T7/55
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 陳煒;李德山

攝像機模塊包括：圖像獲取單元，其被配置成獲取多個圖像幀，所述多個圖像幀之間具有空間相位差；圖像生成單元，其被配置成通過使用多個圖像幀來生成具有比多個圖像幀中的每一個的分辨率高的分辨率的圖像數據；以及深度信息提取單元，其被配置成通過使用圖像數據來提取關于對象的深度信息。

技術領域

實施方式涉及攝像機模塊及其超分辨率圖像處理方法。

背景技術

使用便攜式設備的人們要求具有高分辨率、小型并且具有各種拍攝功能(光學放大/縮小功能、自動聚焦(AF)功能、手抖補償或光學圖像穩定器(OIS)功能等)的光學設備。這些拍攝功能可以通過直接移動被組合的多個透鏡來實現。然而，在透鏡的數目增加的情況下，光學設備的尺寸可能增加。

自動聚焦功能和手抖補償功能是通過使多個透鏡模塊沿光軸或者沿垂直于光軸的方向移動或傾斜來實現，所述多個透鏡模塊在透鏡的光軸對準的狀態下固定至透鏡保持器，并且使用單獨的透鏡移動裝置來移動透鏡模塊。然而，透鏡移動裝置具有高功耗，并且需要與攝像機模塊分開地提供附加的蓋玻璃以保護透鏡移動裝置，因此導致設備的總厚度增加。

此外，隨著用戶對高質量圖像的需求增加，需要能夠提供超分辨率圖像的攝像機模塊。然而，為了生成超分辨率圖像，圖像傳感器中所包括的像素的數目不可避免地增加，這可能導致圖像傳感器的尺寸增加和功耗的增加。此處，“超分辨率(SR)”是指將具有給定的低分辨率(LR)的圖像信息轉換為具有高分辨率(HR)的圖像信息。

為了提取與圖像中包括的對象對應的像素的深度，使用飛行時間(ToF)方法作為通過將光照射到對象上來主動地提取深度的一種方法。ToF方法是將光照輻射到對象上并且測量光返回所花費的時間的方法。用于圖像數據的點擴展函數(PSF)是優化的并且非常簡單的，而用于提取深度信息的PSF需要重新定義和優化。

發明內容

[技術問題]

實施方式提供了在提供高分辨率圖像的同時能夠以高的速度簡單地提取像素的深度信息的攝像機模塊及其超分辨率圖像處理方法。

本公開內容要實現的目的不限于上面提及的目的，并且本領域那些技術人員根據以下描述將清楚地理解本文中未提及的其他目的。

[技術解決方案]

根據實施方式的攝像機模塊可以包括：圖像獲取單元，其被配置成獲取多個圖像幀，多個圖像幀之間具有空間相位差的多個圖像幀；圖像生成單元，其被配置成使用多個圖像幀來生成具有比多個圖像幀中的每一個的分辨率高的分辨率的圖像數據；以及深度信息提取單元，其被配置成使用圖像數據來提取關于對象的深度信息。

例如，圖像獲取單元可以包括：光學單元，其被配置成改變對象的光行進所沿的路徑；圖像傳感器，其被配置成感測沿不同路徑入射的光；以及控制器，其被配置成控制光學單元和圖像傳感器。多個圖像幀可以對應于由圖像傳感器順序地感測的結果。

例如，圖像獲取單元可以包括：多個光學單元，其分別具有對象的光行進所沿的不同路徑；以及多個圖像傳感器，其被配置成感測通過多個光學單元入射的光。多個圖像幀可以對應于由多個圖像傳感器感測的結果。

例如，圖像生成單元可以使用以下關于所述多個圖像幀的每幀而獲得的強度生成圖像數據。

此處，x_φ表示關于所述多個圖像幀的每幀獲得強度，1≤k≤p，p表示用于生成圖像數據的圖像幀的數目，φ表示相位延遲的程度，D^-1表示D的逆矩陣，D表示圖像傳感器的像素的尺寸，B_k^-1表示B_k的逆矩陣，B_k表示關于深度信息的光學特性，n_k表示p個圖像幀中的第k個圖像幀的噪聲分量，并且A_k表示p個圖像幀中的第k個圖像幀的強度，并且A_k如下。