[發明專利]對魚眼鏡頭生成具有畸變的圖像的新方法

在審

• 申請號: 202011290057.1
• 申請日: 2020-11-17
• 公開（公告）號: CN112837209A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 榮國棟;趙培濤;鄭在源
• 申請（專利權）人: 百度(美國)有限責任公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T11/40
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

本申請公開了對魚眼鏡頭生成具有畸變的圖像的方法，屬于自主車輛的技術領域，用于從合成的無畸變源立體圖圖像生成目標畸變圖像。生成合成的無畸變源立方體圖圖像。為目標畸變圖像的每個像素，確定對應于目標畸變圖像的像素的源立方體圖圖像的像素。為目標畸變圖像上的每個像素，確定源立方體圖圖像上對應像素的顏色。之后，在目標畸變圖像的每個像素處填充與源立方體圖圖像的對應像素的確定顏色相同的顏色。

技術領域

本公開的實施例總體上涉及操作自主車輛。更具體地，本公開的實施例涉及生成鏡頭畸變的合成圖像，用于訓練用于自主駕駛的感知模塊。

背景技術

以自主模式(例如，無人駕駛)操作的車輛可以減輕乘員(特別是駕駛員)免于某些與駕駛有關的責任。當以自主模式運行時，車輛可以使用車載傳感器導航到各個位置，從而允許車輛可以在最少的人機交互、或者在某些情況下無乘客的情況下行駛。

運動規劃和控制是自主駕駛的關鍵操作。然而，常規的運動規劃操作主要從其曲率和速度來估計完成給定路徑的難度，而不考慮不同類型車輛的特征差異。相同的運動規劃和控制應用于所有類型的車輛，這在某些情況下可能不準確且不平穩。

感知模塊是自動駕駛堆棧中的關鍵組件。感知模塊中使用的人工智能(Artificial Intelligence，AI)算法需要大量標記的圖像進行訓練。手動標簽既費時又昂貴，而且可能不準確。因此，在本領域中使用合成數據(例如，由諸如統一引擎或虛擬引擎的游戲引擎生成的數據)用于生成標記的數據。標記的數據用于感知模塊的訓練，以幫助改善其性能。

在使用物理相機拍攝的圖像中，鏡頭畸變(例如，徑向畸變)是不可避免的。因此，理想地，應該使用體現真實世界鏡頭畸變的圖像來訓練感知模塊，以便訓練的感知模塊可以正確地處理由真實相機捕獲的圖像。因此，生成待在感知模塊訓練中使用的合成圖像的仿真系統應該包含正確的鏡頭畸變。

存在用于從無畸變圖像生成適當畸變的圖像的已知技術。然而，生成魚眼鏡頭的畸變仍然是挑戰。在下文中，魚眼鏡頭是指可以幫助創建具有強烈視覺畸變的寬全景或半球形圖像的超廣角鏡頭。從無畸變圖像生成魚眼鏡頭的畸變圖像是一個挑戰，因為魚眼鏡頭通常具有非常大的視場(field of view,FOV)：魚眼鏡頭的FOV可能接近甚至大于180°。大FOV意味著利用常規技術需要具有非常大的分辨率的無畸變圖像來生成魚眼鏡頭的畸變圖像。隨著鏡頭的FOV向180°增加，所需的分辨率接近無窮大。不存在FOV大于180°的無畸變圖像。

發明內容

在一個實施例中，本申請涉及一種用于生成畸變圖像的計算機實施的方法。該方法包括：生成合成的無畸變源立方體圖圖像；以及為目標畸變圖像的每個像素，確定對應于目標畸變圖像的像素的源立方體圖圖像的像素，確定源立方體圖圖像的對應像素的顏色，以及填充與源立方體圖圖像的對應像素的確定顏色相同的顏色。

在一些實施例中，為目標畸變圖像的每個像素，確定對應于目標畸變圖像的像素的源立方體圖圖像的像素包括：將目標畸變圖像的像素從像平面投影到歸一化平面；使用逆畸變確定無畸變歸一化平面上對應像素的位置；以及將無畸變歸一化平面上的對應像素投影到單位球。

在一些實施例中，該方法還包括：確定單位球上的投影像素的三維(3D)矢量；以及將與3D矢量對應的源立方體圖圖像上的像素確定為與目標畸變圖像的像素對應的源立方體圖圖像的像素。

在一些實施例中，目標畸變圖像體現魚眼鏡頭的徑向鏡頭畸變。

在一些實施例中，魚眼鏡頭的視場(FOV)超過180度。

在一些實施例中，源立方體圖圖像的對應像素的顏色在紅綠藍(RGB)顏色空間中。

在一些實施例中，該方法還包括：使用目標畸變圖像訓練用于自主駕駛的感知模塊。