[發明專利]利用深度信息和圖像傳感器來產生圖像的方法

在審

• 申請號: 201380069412.4
• 申請日: 2013-11-14
• 公開（公告）號: CN104884972A
• 公開（公告）日: 2015-09-02
• 發明（設計）人: P·弗雷爾;B·迪亞斯帕若;V·普雷沃斯特
• 申請（專利權）人: E2V半導體公司
• 主分類號: G01S17/10
• 分類號: G01S17/10;G01S17/89;G01S7/486;G01S7/487;G06T7/00
• 代理公司: 北京戈程知識產權代理有限公司 11314
• 代理人: 程偉;王錦陽

技術領域

本發明涉及產生圖像的每個點與深度相關聯的圖像，深度即觀察點與產生圖像的相機之間的距離。

背景技術

利用相關深度來產生圖像被特別地，但不專門地用于產生立體圖：在這個應用中，例如可以利用相機來產生圖像，并且獲得與每個點相關的深度值；然后，根據該單個圖像，可以產生彼此不同的左視圖像和右視圖像；場景中的點如果在無窮遠處，則其在左視圖像和右視圖像中占據相同的位置；如果場景中的點靠近相機，則其占據被橫向移位一定距離的不同位置，該距離與這個點靠近相機的程度成比例地增加。同時投射但由各自的眼睛分別觀察到的左視圖像和右視圖像給出了深度的效果。通常來說，通過彼此間隔開的兩個相機來獲得深度。本發明提出了僅利用一個相機的技術方案。

在另一個應用中，尋求利用相關深度來建立圖像，以檢測障礙物。可以利用障礙物與機動車輛之間的距離的知識來防止碰撞。具體是這樣的情況：如果利用紅外光來獲取圖像，則即使在霧天的情況下也可以進行檢測。在這種情況下，表示相機與障礙物或者部分的障礙物之間距離的深度信息是非常重要的。

發明內容

為了能夠利用單個相機來實現這些目標，本發明提供了一種用于產生包括場景中每個點的距離信息的三維場景的圖像，該方法利用了脈沖光源和圖像傳感器，包括像素的傳感器能夠將由光產生的電荷積聚在每個像素的各自存儲節點中，所述方法包括從光源并且在參考時鐘的控制下發射光脈沖的N個連續序列(trains)，N是表示對于深度信息期望的深度水平的數量的整數，并且對于來自N個脈沖序列的隊列(rang)i中的每個脈沖序列進行迭代：

a)發射光脈沖的第i序列，在利用參考時鐘確定的時刻并且以利用該時鐘確定的間距來發射脈沖；

a1)在以相對于脈沖的時間偏移t_i開始的長度為T_int的短累積時隙內，對于第i序列的每個光脈沖的電荷進行累積，該時間偏移表示光脈沖從位于離傳感器第i距離(d_i)處的點反射之后在光源和傳感器之間的行程時間，第i時間偏移t_i對于第i脈沖序列的全部光脈沖是相同的，并且時間偏移t_i的值對于N個序列是彼此不同的，以對應于相對于傳感器的各個距離，并且以大于累積時間T_int的時間增量彼此間隔；

b1)將第i序列的每個光脈沖累積的電荷轉移至每個像素的電荷存儲節點，并且將該電荷與源自同一序列的在前光脈沖的電荷進行積聚；以及

b)在第i脈沖序列結束之后，讀取包含在每個像素的存儲節點中的電荷，將存儲節點復位，以及傳送表示場景中位于離傳感器第i距離(d_i)處的點的隊列i的各自圖像。

換言之，每個脈沖序列旨在觀察場景中位于明確限定的距離d_i處的點，該觀察中不包括其他的點。比距離d_i更近的點是看不到的，這是因為通過這些點反射的光脈沖在時刻t_i之前到達，即在電荷累積時隙(從t_i至t_i+T_int)已經開始之前到達。更遠的點是看不到的，這是因為通過這些點反射的光脈沖到達太晚，其在電荷累積時隙已經關閉之后到達。

長度為T_int的電荷累積時隙(該時隙相對于光脈沖同步)優選位于對全部的像素公共的光電二極管復位信號結束與對全部的像素公共的電荷轉移信號結束之間。電荷轉移信號允許來自像素的光電二極管的電荷轉移至其電荷存儲節點。復位信號將來自光電二極管的電荷清空，并且阻止電荷累積在其中。

光脈沖是簡短的，并且電荷累積時隙也是簡短的，正是由于這種簡短能夠精確地定位距離d_i。如果期望正確地區分相應的相鄰距離d_i與d_i+1，則累積時隙的長度必須小于兩個相鄰的時間偏移(比如，t_i與t_i+1)之間的差。在每個脈沖序列中具有許多光脈沖(如果可能的話)，以補償其簡短并且保證在脈沖序列結束時讀取積聚在每個像素的存儲節點中的電荷之前，累積地接收到充足數量的光子。