[發明專利]一種魚眼圖像處理系統和方法

在審

• 申請號: 201911004109.1
• 申請日: 2019-10-18
• 公開（公告）號: CN111071153A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 閆智芃;陳鵬飛;王盼曲
• 申請（專利權）人: 圖森有限公司
• 主分類號: B60R1/00
• 分類號: B60R1/00;G06K9/00
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 鄔玥;方挺

本申請公開一種用于魚眼圖像處理的系統和方法。一個特定的實施例可以用于：接收至少一個與自動駕駛車輛相關聯的魚眼鏡頭攝像頭的魚眼圖像數據，該魚眼圖像數據表示至少一個魚眼圖像幀；將該魚眼圖像幀劃分為代表該魚眼圖像幀的各部分的多個圖像部分；變形每個圖像部分以將攝像頭投影視野中的一個弧映射為與一個映射目標視野對應的直線，該映射目標視野通常根據攝像頭中心和攝像頭投影視野中的弧的中心之間的直線進行垂直定向；將多個變形后的圖像部分組合為一個組合的結果魚眼圖像數據集，該數據集代表與魚眼圖像幀對應的重建的或者減少失真的魚眼圖像數據；生成表示至少一個魚眼圖像幀中的像素與組合的結果魚眼圖像數據集中的相應像素之間的對應關系的自動校正數據；將組合的結果魚眼圖像數據集作為輸出提供給其他自動駕駛車輛子系統。

技術領域

本申請一般性地涉及圖像處理、車輛控制系統、以及自動駕駛系統的工具(系統、裝置、方法、計算機程序產品，等等)，特別涉及但不僅限于一種魚眼圖像處理系統和方法。

背景技術

物體檢測是許多視覺任務中的一個基礎問題，包括圖像分割、語義實例分割、以及物體檢測預測。檢測到一個交通環境中的全部物體對于建立一個自動駕駛系統而言是非常重要的。對一個物體(例如一個車輛或者一個人)檢測失敗可能會導致自動駕駛車輛的運動規劃模塊的失常，并導致災難性的事故。從而自動駕駛車輛的目標檢測是一個重要的操作問題和安全問題。

物體檢測包括圖像分析和圖像語義分割的使用。語義分割的目標在于為圖像中每個像素分配一個類別標簽，語義分割在圖像分析和自動駕駛系統中起到重要作用。語義分割框架提供像素級別的類別標簽，但是無法檢測到物體級別的單個實例。

魚眼鏡頭和魚眼鏡頭攝像頭廣泛應用于日常生活。這些類型的鏡頭通常安裝在車輛、監控攝像頭、望遠鏡以及類似的裝置中，以獲取極為廣闊的視野。但是，魚眼鏡頭廣闊視野的便利性是以高度的圖像失真程度為代價的。傳統的圖像處理技術例如物體檢測通常無法重建物體的形狀或位置，也無法處理魚眼鏡頭產生的圖像失真問題。傳統的魚眼鏡頭圖像去失真算法難以被修改得適應于物體檢測應用，例如自動駕駛控制系統。

發明內容

本申請公開了一種魚眼圖像處理系統和方法。魚眼圖像處理系統和方法的示例可以包括一個魚眼圖像處理系統，用于接收至少一個與自動駕駛車輛相關聯的魚眼鏡頭攝像頭的魚眼圖像數據，該魚眼圖像數據表示至少一個魚眼圖像幀。本申請公開的多個示例實施例中，公開了一種用于魚眼鏡頭圖像數據處理的快速端到端處理方法。該數據處理方法可以將魚眼圖像變換到普通(無變形)圖像，該普通圖像具有可調整的輸出尺寸、視野和旋轉方向。多個示例實施例中的處理方法得到了全面的優化，可以達到實時的效果(例如50Hz@720p)。并且，多個示例實施例提供了一種自動校正方法，該方法適用于任何魚眼鏡頭，并且只需較少的人力。公開的多個示例實施例中，魚眼鏡頭圖像處理方法可以從魚眼圖像中去除失真，并且無變形地重建圖像中的場景和物體，就好像這些圖像是用普通的(非魚眼)鏡頭拍攝的一樣。以下詳細描述多種示例實施例。

附圖說明

所述各實施例是通過示例的方式而不是通過限制的方式說明的，在附圖中：

圖1示出了一個示例實施例中實施的車內圖像處理模塊的一個示例生態系統的結構框圖；

圖2示出了配置有多個魚眼鏡頭攝像頭的自動駕駛車輛或者自主車輛的示例；

圖3示出了傳統的或者當前的來自于魚眼鏡頭攝像頭的一張圖像；

圖4的上部分示出了多個圖像部分的示例，下部分示出了對多個圖像部分拼接后的結果圖像的示例；

圖5示出了一個示例實施例中魚眼圖像處理模塊實施的魚眼圖像變換產后護理；

圖6示出了一個示例實施例中的系統和方法對來自自動駕駛車輛或者自主車輛上的多個魚眼鏡頭攝像頭的圖像進行處理的流程圖；