[發(fā)明專利]使用單個(gè)相機(jī)估算深度

在審

• 申請(qǐng)?zhí)枺?/td>: 201780095594.0
• 申請(qǐng)日: 2017-12-05
• 公開（公告）號(hào): CN111164647A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 戴維·雅各布斯;拉胡爾·加爾格;耶爾·普里奇·克納恩;尼爾·瓦德瓦;馬克·勒瓦
• 申請(qǐng)（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號(hào): G06T7/593
• 分類號(hào): G06T7/593
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 李寶泉;任慶威

相機(jī)可以捕獲場(chǎng)景的圖像，并使用該圖像來生成場(chǎng)景的第一子像素圖像和第二子像素圖像。該子像素圖像對(duì)可以分別由來自該圖像的第一組子像素集合和第二組子像素集合表示。該圖像的每個(gè)像素可以包括分別在第一子像素圖像和第二子像素圖像中表示的兩個(gè)綠色子像素。相機(jī)可以確定如由該子像素圖像對(duì)表示的場(chǎng)景的部分之間的視差，并且可以基于視差和兩個(gè)綠色子像素之間的基線距離來估計(jì)場(chǎng)景的深度圖，該深度圖指示該部分相對(duì)于場(chǎng)景的其他部分的深度。可以生成圖像的新版本，在該圖像的新版本中聚焦于場(chǎng)景的該部分上并使場(chǎng)景的其他部分模糊。

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求于2017年10月4日提交的美國(guó)臨時(shí)專利申請(qǐng)第62/567,888號(hào)和于2017年10月16日提交的美國(guó)臨時(shí)專利申請(qǐng)第62/572,896號(hào)的優(yōu)先權(quán)，其全部?jī)?nèi)容通過引用并入本文。

背景技術(shù)

當(dāng)數(shù)字相機(jī)的圖像捕獲組件拍攝場(chǎng)景的照片時(shí)，圖像傳感器收集關(guān)于穿過相機(jī)的攝影透鏡進(jìn)入的光的數(shù)據(jù)。具體地，在接收到用于捕獲圖像的信號(hào)(例如，按鈕按下)時(shí)，相機(jī)的快門可以臨時(shí)打開以允許光到達(dá)圖像傳感器的感光點(diǎn)(photosite)陣列。結(jié)果，每個(gè)感光點(diǎn)都可以將來自光中的光子收集并存儲(chǔ)為電信號(hào)。

感光點(diǎn)收集的光量越大，感光點(diǎn)記錄的電強(qiáng)度就越高。例如，與從場(chǎng)景中的陰影或其他暗區(qū)域捕獲光的感光點(diǎn)記錄的強(qiáng)度較低相比，從場(chǎng)景中的明亮區(qū)域捕獲光的圖像傳感器的感光點(diǎn)記錄的強(qiáng)度較高。通過具有被配置為捕獲和測(cè)量強(qiáng)度的感光點(diǎn)陣列，圖像傳感器可以記錄場(chǎng)景的當(dāng)前狀態(tài)，以便隨后顯示為灰度圖像。

為了將場(chǎng)景表達(dá)為彩色圖像，圖像傳感器可以具有位于附近的彩色濾光片陣列(CFA)，該彩色濾光片陣列限制每個(gè)感光點(diǎn)僅收集特定顏色的入射光。例如，拜耳陣列是CFA的一種流行類型，它使用紅-綠色和綠-藍(lán)色濾光片的交替行來限制每個(gè)感光點(diǎn)捕獲僅與一種原色(紅色、綠色或藍(lán)色)相對(duì)應(yīng)的光。拜耳陣列包括更多的綠色濾光片，以使更大比例的感光點(diǎn)陣列收集綠光。這是由于人眼對(duì)綠光特別敏感。因此，讓更多的感光點(diǎn)收集綠光可以產(chǎn)生與大多數(shù)人的視力更一致的圖像。

在相機(jī)設(shè)備的快門關(guān)閉以結(jié)束在感光點(diǎn)陣列上的曝光之后，可以測(cè)量來自各個(gè)感光點(diǎn)的電荷并將其轉(zhuǎn)換為數(shù)字。然后可以通過配置用于在屏幕或其他可能表面(相機(jī)取景器)上重新創(chuàng)建圖像的匹配像素的顏色和亮度，使用來自感光點(diǎn)陣列中的數(shù)碼的數(shù)字序列來重新生成圖像。在一些情況下，對(duì)于圖像傳感器中的每個(gè)感光點(diǎn)，在顯示的圖像內(nèi)可能存在一個(gè)對(duì)應(yīng)的像素，該像素反映了在圖像捕獲過程中在感光點(diǎn)處接收到的電荷和顏色。

所生成的圖像內(nèi)的每個(gè)像素可以由多個(gè)成分構(gòu)成，也稱為“子像素”。每個(gè)像素的子像素可能取決于與由圖像傳感器一起使用的CFA對(duì)感光點(diǎn)陣列施加的顏色限制。例如，當(dāng)圖像傳感器與拜耳陣列一起使用時(shí)，構(gòu)成捕獲圖像的像素可以由兩個(gè)綠色子像素、一個(gè)藍(lán)色子像素和一個(gè)紅色子像素組成。因此，當(dāng)像素被布置并顯示在一起以表示圖像傳感器的感光點(diǎn)陣列的位置和測(cè)量值時(shí)，最初由單個(gè)圖像捕獲組件捕獲的場(chǎng)景的顏色和配置可以被重新創(chuàng)建為二維圖像(2D)彩色圖像。

然而，為了獲得關(guān)于場(chǎng)景的三維(3D)信息，通常使用附加組件。例如，立體相機(jī)使用兩個(gè)或更多個(gè)圖像捕獲組件來同時(shí)捕獲可以以某種方式組合以創(chuàng)建或模擬3D立體圖像的多個(gè)圖像。盡管立體相機(jī)可以確定關(guān)于場(chǎng)景的3D信息，但是使用多個(gè)圖像捕獲組件增加了生產(chǎn)立體相機(jī)所涉及的總體成本和復(fù)雜性。

發(fā)明內(nèi)容

本文的實(shí)施例公開了一種深度估計(jì)技術(shù)，其可以用于估計(jì)由單個(gè)圖像捕獲組件捕獲為圖像的場(chǎng)景中的元素的深度。在最初捕獲場(chǎng)景的圖像之后，基于由構(gòu)成被布置以重新創(chuàng)建場(chǎng)景的基礎(chǔ)像素的子像素提供的數(shù)據(jù)來生成子像素圖像對(duì)。類似于由立體相機(jī)的多個(gè)圖像捕獲組件同時(shí)捕獲的圖像，該子像素圖像對(duì)可以從略有不同的視點(diǎn)表示場(chǎng)景。子像素圖像之間的這種視點(diǎn)差異或“視差”可能是由于存在于包括在圖像的每個(gè)像素內(nèi)的綠色子像素對(duì)之間的基線距離所致。盡管每個(gè)像素內(nèi)的綠色子像素之間存在的基線距離非常小，但是該距離足以使子像素圖像從略有不同的角度表示場(chǎng)景。