[發(fā)明專(zhuān)利]利用深度信息和圖像傳感器來(lái)產(chǎn)生圖像的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201380069412.4
• 申請(qǐng)日: 2013-11-14
• 公開(kāi)（公告）號(hào): CN104884972A
• 公開(kāi)（公告）日: 2015-09-02
• 發(fā)明（設(shè)計(jì)）人: P·弗雷爾;B·迪亞斯帕若;V·普雷沃斯特
• 申請(qǐng)（專(zhuān)利權(quán)）人: E2V半導(dǎo)體公司
• 主分類(lèi)號(hào): G01S17/10
• 分類(lèi)號(hào): G01S17/10;G01S17/89;G01S7/486;G01S7/487;G06T7/00
• 代理公司: 北京戈程知識(shí)產(chǎn)權(quán)代理有限公司 11314
• 代理人: 程偉;王錦陽(yáng)

1.一種用于產(chǎn)生包括場(chǎng)景中每個(gè)點(diǎn)的距離信息的三維場(chǎng)景的圖像的方法，所述方法利用脈沖光源和圖像傳感器，包括像素的傳感器能夠?qū)⒂晒猱a(chǎn)生的電荷積聚在每個(gè)像素的各自存儲(chǔ)節(jié)點(diǎn)中，所述方法包括從光源并且在參考時(shí)鐘的控制下發(fā)射光脈沖的N個(gè)連續(xù)序列，N是表示對(duì)于深度信息期望的深度水平的數(shù)量的整數(shù)，并且對(duì)于來(lái)自N個(gè)脈沖序列的隊(duì)列i中的每個(gè)脈沖序列進(jìn)行迭代：

a)發(fā)射光脈沖的第i序列，在利用參考時(shí)鐘確定的時(shí)刻并且以利用該時(shí)鐘確定的間距來(lái)發(fā)射脈沖；

a1)在以相對(duì)于脈沖的時(shí)間偏移t_i開(kāi)始的長(zhǎng)度為T(mén)_int的短累積時(shí)隙內(nèi)，對(duì)于第i序列的每個(gè)光脈沖的電荷進(jìn)行累積，該時(shí)間偏移表示光脈沖從位于離所述傳感器第i距離(d_i)處的點(diǎn)反射之后在所述光源與所述傳感器之間的行程時(shí)間，時(shí)間偏移t_i對(duì)于第i脈沖序列的全部光脈沖是相同的，并且時(shí)間偏移t_i的值對(duì)于N個(gè)序列是彼此不同的，以對(duì)應(yīng)于相對(duì)于傳感器的各個(gè)距離，并且以大于累積時(shí)間T_int的時(shí)間增量彼此間隔；

b1)將第i序列的每個(gè)光脈沖累積的電荷轉(zhuǎn)移至每個(gè)像素的電荷存儲(chǔ)節(jié)點(diǎn)，并且將該電荷與源自同一序列的在前光脈沖的電荷進(jìn)行積聚；以及

b)在第i脈沖序列結(jié)束之后，讀取包含在每個(gè)像素的存儲(chǔ)節(jié)點(diǎn)中的電荷，將所述存儲(chǔ)節(jié)點(diǎn)復(fù)位，以及傳送表示場(chǎng)景中位于離所述傳感器第i距離(d_i)處的點(diǎn)的隊(duì)列i的各自圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，時(shí)間偏移t_i的值以大致等于光脈沖的長(zhǎng)度T_imp與累積時(shí)間T_int之和的時(shí)間增量彼此間隔。

3.根據(jù)權(quán)利要求1和2中的一項(xiàng)所述的方法，其特征在于，光脈沖的長(zhǎng)度大體上等于累積時(shí)間T_int。

4.根據(jù)權(quán)利要求1至3中的一項(xiàng)所述的方法，其特征在于，建立數(shù)值距離值的矩陣，其將所述傳感器的每個(gè)像素與場(chǎng)景中由該像素觀察的點(diǎn)的距離相關(guān)聯(lián)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，與所述像素相關(guān)聯(lián)的距離是對(duì)應(yīng)于從所述像素發(fā)出的信號(hào)具有在N個(gè)圖像中對(duì)于該給定像素的各個(gè)值之中的最大值的脈沖序列的距離d_i。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，通過(guò)插值來(lái)計(jì)算與每個(gè)像素相關(guān)聯(lián)的距離：

-根據(jù)距離d_i，其對(duì)應(yīng)于針對(duì)該像素讀取的信號(hào)中具有最大值的隊(duì)列i的脈沖序列，

-以及根據(jù)針對(duì)該像素讀取的并且對(duì)應(yīng)于距離d_i-1和/或d_i+1的信號(hào)。

7.根據(jù)權(quán)利要求1至6中的一項(xiàng)所述的方法，其特征在于，對(duì)于由每個(gè)像素接收的亮度建立場(chǎng)景的每個(gè)觀察的值。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，由像素接收的亮度值基于在N個(gè)圖像中由該像素傳送的最高信號(hào)電平，或者基于在多個(gè)圖像中由該像素傳送的信號(hào)電平之和來(lái)建立。

9.根據(jù)權(quán)利要求1至8中的一項(xiàng)所述的方法，其特征在于，根據(jù)N個(gè)圖像建立兩個(gè)電子圖像，即左視圖像和右視圖像，使得能夠獲得場(chǎng)景的立體重構(gòu)。

10.一種圖像捕獲設(shè)備，其包括矩陣陣列圖像傳感器和能夠傳送光脈沖的光源，所述設(shè)備傳送場(chǎng)景的圖像和關(guān)于與矩陣的每個(gè)像素相關(guān)聯(lián)的距離的信息，每個(gè)像素包括光電二極管、用于復(fù)位所述光電二極管的裝置、用于將電荷存儲(chǔ)在所述像素中的裝置以及用于讀取積聚在所述存儲(chǔ)節(jié)點(diǎn)中的電荷的裝置，所述光源包括用于傳送光脈沖的N個(gè)序列的裝置，所述脈沖為校準(zhǔn)的長(zhǎng)度并且具有校準(zhǔn)的間距，所述設(shè)備進(jìn)一步包括時(shí)序裝置，以用于控制所述光電二極管的復(fù)位以及從所述光電二極管到所述存儲(chǔ)節(jié)點(diǎn)的電荷的轉(zhuǎn)移，所述時(shí)序裝置相對(duì)于所述光脈沖同步，其特征在于，所述時(shí)序裝置被布置為對(duì)于光脈沖的N個(gè)序列中的每一個(gè)在相對(duì)于每個(gè)光脈沖具有時(shí)間偏移(t_i)的短時(shí)隙偏移內(nèi)進(jìn)行電荷累積，所述時(shí)間偏移(t_i)對(duì)于隊(duì)列i的給定脈沖序列的全部光脈沖是相同的，而與其他脈沖序列不同，所述時(shí)間偏移對(duì)應(yīng)于光從場(chǎng)景中的點(diǎn)反射之后在所述光源與所述傳感器之間的行程時(shí)間，所述點(diǎn)位于各自的距離d_i處，由隊(duì)列i的給定脈沖序列的脈沖照明之后累積的電荷積聚在所述存儲(chǔ)節(jié)點(diǎn)中，然后從該節(jié)點(diǎn)讀取，以產(chǎn)生場(chǎng)景中位于距離d_i處的點(diǎn)的隊(duì)列i的圖像，鑒于對(duì)應(yīng)于另一距離d_i+1的隊(duì)列i+1的另一脈沖序列的新積聚，該電荷在所述脈沖序列結(jié)束時(shí)被移除，短時(shí)隙的長(zhǎng)度小于對(duì)應(yīng)于兩個(gè)不同的脈沖序列的兩個(gè)相鄰的時(shí)間偏移值之間的差。