[發明專利]相機裝置以及相機裝置的圖像生成方法

在審

• 申請號: 202080043353.3
• 申請日: 2020-06-15
• 公開（公告）號: CN113940053A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 全世美;樸貞娥
• 申請（專利權）人: LG伊諾特有限公司
• 主分類號: H04N5/225
• 分類號: H04N5/225;H04N5/232
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 楊林森

根據實施方式的相機裝置可以包括：圖像傳感器，其生成具有第一分辨率的第一拜耳數據；以及處理器，其基于第一拜耳數據執行深度學習以輸出具有第二分辨率的第二拜耳數據，第二分辨率高于第一分辨率。

技術領域

本發明涉及相機裝置以及相機裝置的圖像生成方法，并且更具體地，涉及用于使用深度學習算法基于高分辨率圖像以各種倍率生成圖像的技術。

背景技術

隨著相機裝置的技術進步和小型化變得可能，小型相機裝置正被應用于和用在諸如智能電話、移動電話、PDA等的各種IT裝置中。相機裝置使用諸如CCD或CMOS的圖像傳感器作為主要部件來制造，并且被制造成使得能夠進行對焦調整以調整圖像的尺寸。

這樣的相機裝置被配置成包括多個透鏡和致動器，并且相對于被攝體的對象可以以這樣的方式被拍攝：當致動器移動每個透鏡以改變相對距離時，光學焦距被調整。

具體地，相機裝置包括：圖像傳感器，其將從外部接收的光信號轉換為電信號；透鏡，其將光聚焦到圖像傳感器上；紅外(IR)濾波器；容納它們的殼體；以及處理圖像傳感器信號的印刷電路板等，并且致動器通過諸如音圈馬達(VCM)致動器或微機電系統(MEMS)致動器的致動器來調整透鏡的焦距。

同時，隨著技術的進步和使得能夠實現高分辨率圖像，對能夠實現遠處對象的高分辨率圖像的技術的需求也在增加。

通常，相機配備有變焦功能以拍攝遠處對象的照片，變焦功能主要分為光學變焦和數字變焦方法，在光學變焦中，相機內的實際透鏡移動以放大被攝體，在數字變焦方法中，通過使用數字處理方法放大被拍攝對象的圖像數據的一部分來實現變焦效果。

在通過使用透鏡移動來獲得被攝體的圖像的光學變焦的情況下，可以獲得具有相對高分辨率的圖像，但是存在的問題是相機的內部結構復雜，并且由于增加了部件而成本增加。另外，對其中可以通過使用光學變焦放大被攝體的區域存在限制，并且對于這部分，正在開發利用軟件校正的技術。

除了這些方法之外，還存在通過移動相機內的部件生成更多像素信息來實現高分辨率圖像的技術，例如利用音圈馬達(VCM)或微機電系統(MEMS)技術來搖動傳感器的傳感器移位技術、通過利用VCM等搖動透鏡來獲得像素信息的光學圖像穩定器(OIS)技術、以及在傳感器與透鏡之間搖動濾波器的技術等。

然而，這些技術的缺點在于，當拍攝移動對象時，可能發生諸如運動模糊或偽像的現象，因為它們合成了幾個視差的數據，這導致降低圖像質量的問題。

另外，存在的問題是，當將用于實現這一點的復雜裝置插入至相機中時，相機裝置的尺寸增大，難以在安裝相機的車輛中使用，因為其是通過搖動部件來實現的，并且只能在靜止環境中使用。

另一方面，作為使用通常在TV中使用的軟件算法的高分辨率實現技術，存在諸如單幀超分辨率(SR)或多幀超分辨率(SR)等的技術。

在這些技術的情況下，不存在偽像問題，但是這是一種難以應用于可以應用諸如移動設備、車輛、IoT等的小型相機裝置的裝置的算法，并且另外，存在難以實現除非安裝單獨的圖像處理器以實現這樣的技術的問題。

另外，在數字變焦的情況下，由于通過簡單地放大較少放大的圖像的一部分來生成圖像，所以像素的實際數目隨著倍率的增加而減少，導致性能的劣化。因此，為了解決該問題。盡管針對智能電話相機正在進行使用光學系統的變焦開發，但是存在由于增加包括透鏡的部件而導致尺寸增加和價格增加的問題。

另外，在現有技術的小型相機的使用光學系統進行變焦的情況下，與常規的數字相機不同，由于透鏡不是連續移動的，因此除特定固定倍率之外不能使用透鏡生成圖像，因此對于這樣的區域，通過利用軟件進行處理來生成變焦圖像。然而，由于這也是基于多相機實現的，因此價格增加，并且需要附加的軟件來將由多個相機拍攝的多個圖像合成為單個圖像。