[發(fā)明專利]多陣列相機成像系統(tǒng)及其方法

在審

• 申請?zhí)枺?/td>: 201680014801.0
• 申請日: 2016-03-13
• 公開（公告）號: CN107466473A
• 公開（公告）日: 2017-12-12
• 發(fā)明（設(shè)計）人: S·T·麥凱恩;D·J·白瑞迪
• 申請（專利權(quán)）人: 安科迪有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/225;G06T15/20
• 代理公司: 廣州嘉權(quán)專利商標事務(wù)所有限公司44205
• 代理人: 鄭勇

相關(guān)申請的交叉引用

本案要求、2015年3月13日提交的序列號為62/132,861美國臨時專利申請(代理人案號：3034-003PR1)的優(yōu)先權(quán)，該美國臨時專利申請在此引入本文。如果本申請與一個或多個已引入且可能會影響本申請權(quán)利要求解釋的內(nèi)容作為本申請參考的專利權(quán)案件之間的語言存在任何矛盾或不一致，則本案權(quán)利要求的解釋應(yīng)與本案中的語言保持一致。

技術(shù)領(lǐng)域

本發(fā)明涉及成像，尤其涉及用具有多個焦平面陣列的相機系統(tǒng)的成像。

背景技術(shù)

在開發(fā)數(shù)字成像系統(tǒng)前，相機基于鏡頭以及位于鏡頭焦平面的膠片感光乳劑。場景光學(xué)圖像投射到乳劑上，通過化學(xué)過程被永久記錄。然而，數(shù)字成像的出現(xiàn)，在記錄和查看場景圖像方面實現(xiàn)了進步。尤其是現(xiàn)代相機，它可利用位于成像鏡頭焦平面的電子傳感器陣列通過暫時數(shù)字記錄場景的光學(xué)圖像來形成場景圖像。傳感器陣列(又名焦平面陣列)通常包括光電探測器像素的大型二維陣列，如，電荷耦合元器件(CCD)和光電探測器等。該傳感器陣列基于圖像采集期間形成于其記錄表面上的子圖生成數(shù)字圖像數(shù)據(jù)集。

由于具有高像素數(shù)的成像系統(tǒng)在查看輸出圖像方面具有諸多優(yōu)勢，因此，隨著數(shù)字成像技術(shù)的日趨成熟，開發(fā)出了含有更大像素數(shù)的傳感器陣列。舉例來說，提供的總場景圖像的質(zhì)量可得到提高，而分辨率得到提高還可使場景分區(qū)視圖被放大，從而可進行更為詳細的檢查。

像素數(shù)是衡量圖像質(zhì)量的基本單位，通常以圖像中表示出包含百萬像素數(shù)量。在大多數(shù)情況下，傳感器元件包含于單陣列內(nèi)。由于傳感器元件在單陣列內(nèi)的相對位置是先驗已知的，且其余位置可在成像過程中得到確定，因此，使用單陣列有助于進行圖像處理，其中的圖像處理是指在合理時間量內(nèi)將來自傳感器陣列的原始像素數(shù)據(jù)轉(zhuǎn)換成輸出圖像所需的處理。總像素數(shù)受每個傳感器元件的大小以及可將觸感器元件形成于其上的載板的實際尺寸的限制。智能手機或數(shù)字相機的像素數(shù)通常在8-40百萬像素范圍之間。

在許多情況下，最好增大圖像像素，使其超過可易于通過單個傳感器陣列對場景成像所獲得的圖像像素。在現(xiàn)有技術(shù)中，通常通過以下方式實現(xiàn)：將多個數(shù)字子圖(每個數(shù)字子圖均由不同傳感器陣列提供)聚合成具有大型像素數(shù)的合成圖像，同時保持子圖區(qū)的高像素密度。與具有一個連續(xù)焦平面陣列的系統(tǒng)相比，這可在高角分辨率與寬視域相結(jié)合、數(shù)據(jù)高速讀出以及每個像素成本更低等方面為單傳感器陣列相機提供性能優(yōu)勢。

全景成像即為一個應(yīng)用實例，其中，多個低像素數(shù)圖像組合形成高像素數(shù)圖像。在大多數(shù)情況下，全景圖像由從單個相機中提取的一系列圖像生成，而在采集系列圖像期間相機需平移和傾斜。或者，有時也可采用具有多個傳感器陣列的相機系統(tǒng)。

在某些情況下，在全景和非全景成像應(yīng)用中可使用具有多個單傳感器陣列微型相機的陣列相機。在該系統(tǒng)中，每個微型相機基于場景的不同部分將輸出數(shù)據(jù)提供給公共圖像聚合處理器，其中，該公共圖像聚合處理器將輸出數(shù)據(jù)組合成整個場景的合成圖像。

遺憾的是，由于子圖拼接需要進行幾何和輻射處理，因此，將多個較小子圖組合成合成大圖所需的計算非常密集。此外，當(dāng)子圖拍攝于不同時間點時，場景照明將發(fā)生變化，或者存在與視域內(nèi)移動的物體相關(guān)聯(lián)的運動偽像。再者，不同傳感器陣列的響應(yīng)度不同，這將導(dǎo)致對比度和亮度等發(fā)生變化。因此，為了降低由這些變化所引起的子圖間接縫，需對相鄰圖像進行比較計算。此外，還必須對子圖實施失真校正、指向校正和非線性校正。一旦完成廣泛性處理，就可獲得具有非常高像素數(shù)(尺寸通常在數(shù)十百萬像素到數(shù)十千兆像素之間)的單個圖像文件。

雖然此類廣泛性處理有嚴格的時間限制，但是，在過去其避免了采用多個傳感器陣列以視頻速率來采集高分辨率、高像素數(shù)圖像。因此，迄今為止，高清視頻流一直主要受限于由單傳感器陣列相機采集。因而，在視頻速率應(yīng)用中，通常用多個單獨控制的相機來采集完整場景，其中，每個相機僅提供一部分場景的小面積視圖。舉例來說，體育消息廣播通常依賴于多個在整個場館內(nèi)進行戰(zhàn)略性定位或定向的不同攝像機。每個攝像機都有自己的攝影師，且選擇播放哪個攝像機視圖的總攝影師必須對多個攝像機視圖進行持續(xù)實時分析。除了會導(dǎo)致資金和運營費用過高之外，這種方法還會限制觀看體驗的“豐富性”。

迄今為止，對可同時提供高分辨率圖像的成像系統(tǒng)的需求尚未得到滿足。

發(fā)明內(nèi)容

本發(fā)明利用具有多個傳感器陣列的成像系統(tǒng)實現(xiàn)了對場景的大面積高像素數(shù)圖像的高速采集與渲染。本發(fā)明的實施例特別適用于高清視頻廣播系統(tǒng)。