[發(fā)明專利]在車輛中使用偏振相機生成三維點云的設備和方法

有效

• 申請?zhí)枺?/td>: 202011446448.8
• 申請日: 2020-12-09
• 公開（公告）號: CN112954281B
• 公開（公告）日: 2023-04-14
• 發(fā)明（設計）人: E.莫德凱;D.列維;E.基松
• 申請（專利權）人: 通用汽車環(huán)球科技運作有限責任公司
• 主分類號: H04N25/10
• 分類號: H04N25/10;H04N23/95;G01S17/931
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 賀紫秋

本申請涉及在配備有駕駛輔助系統(tǒng)的車輛中使用偏振相機生成三維點云。具體地，本發(fā)明涉及在配備有駕駛輔助系統(tǒng)的車輛中使用偏振相機生成三維點云的方法和設備，包括：相機，其配置為捕獲用于視場的彩色圖像和視場的偏振數據；處理器，其配置為響應于所述彩色圖像和偏振數據執(zhí)行神經網絡功能以生成所述視場的深度圖；以及車輛控制器，其配置為執(zhí)行高級駕駛輔助功能并響應于所述深度圖來控制車輛運動。

技術領域

本公開總體涉及對機動車輛控制系統(tǒng)進行編程。更具體地，本公開的各方面涉及用于使用深度神經網絡將常規(guī)RGB圖像與來自偏振相機的偏振數據相結合以生成三維點云以供配備有駕駛輔助系統(tǒng)的車輛使用的系統(tǒng)、方法和裝置。

背景技術

現代車輛的操作變得越來越自動化，即能夠以越來越少的駕駛員干預提供駕駛控制。車輛自動化已被分類為數字水平，范圍為從零(對應于完全人為控制的無自動化)到五(對應于無人為控制的全自動化)。各種高級駕駛員輔助系統(tǒng)(ADAS)比如巡航控制、自適應巡航控制和停車輔助系統(tǒng)對應于較低的自動化水平，而真正的“無人駕駛”車輛則對應較高的自動化水平。

ADAS通常使用諸如激光雷達、雷達和相機之類的傳感器來檢測并繪制主車輛周圍的區(qū)域。激光雷達具有有限的空間分辨率，并且需要使用激光對視場的主動照明以允許飛行時間(ToF)測量。此外，由于高成本、龐大的機械結構、機械掃描機構和其他運動部件，最先進的激光雷達面臨著產品化挑戰(zhàn)。希望克服這些問題，以提供用于ADAS系統(tǒng)以檢測和呈現三維點云以供配備有ADAS的機動車輛使用的方法和設備。

在該背景技術部分中公開的以上信息僅用于增強對本發(fā)明背景技術的理解，因此其可能包含不構成該國本領域普通技術人員已知的現有技術的信息。

發(fā)明內容

本文公開了用于提供自主車輛控制的自主車輛控制系統(tǒng)訓練系統(tǒng)和相關控制邏輯、制造這種系統(tǒng)的方法和操作這種系統(tǒng)的方法以及配備有車載控制系統(tǒng)的機動車輛。通過示例而非限制的方式，提出了一種具有車載車輛控制學習和控制系統(tǒng)的汽車。

根據本發(fā)明的一方面，提供了一種設備，包括：相機，其配置為捕獲用于視場的彩色圖像和視場的偏振數據；處理器，其配置為響應于所述彩色圖像和偏振數據執(zhí)行神經網絡功能以生成所述視場的深度圖；以及車輛控制器，其配置為執(zhí)行高級駕駛輔助功能并響應于所述深度圖來控制車輛運動。

根據本發(fā)明的另一方面，其中所述彩色圖像包括所述視場的單色綠色圖像、所述視場的單色紅色圖像和所述視場的單色藍色圖像。

根據本發(fā)明的另一方面，其中所述偏振數據是響應于四個4×4基本計算單元而生成的，以形成16像素計算單元。

根據本發(fā)明的另一方面，其中相機包括在公共濾色器陣列的頂部上實現的偏振器陣列層。

根據本發(fā)明的另一方面，其中偏振數據是響應于偏振器陣列層而產生的。

根據本發(fā)明的另一方面，其中彩色圖像包括RGB光顏色信息。

根據本發(fā)明的另一方面，其中偏振數據包括用于視場的圖像的線性偏振角和線性偏振度。

根據本發(fā)明的另一方面，包括存儲器，其配置為從處理器接收深度圖并存儲深度圖。

根據本發(fā)明的另一方面，一種由處理器執(zhí)行的方法包括：從相機接收視場的彩色圖像；從偏振相機接收所述視場的偏振數據；響應于所述彩色圖像和偏振數據，執(zhí)行神經網絡功能以生成所述視場的深度圖；以及響應于所述深度圖，執(zhí)行車輛控制操作以控制車輛。

根據本發(fā)明的另一方面，包括生成用于視場的圖像的線性偏振角和線性偏振度。

根據本發(fā)明的另一方面，包括從激光雷達接收視場的激光雷達深度云，并將深度圖與激光雷達深度云進行比較以確認深度圖。

根據本發(fā)明的另一方面，包括響應于車輛控制操作來控制主車輛的轉向。