[發(fā)明專利]一種魚眼圖像處理系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 201911004109.1
• 申請日: 2019-10-18
• 公開（公告）號: CN111071153A
• 公開（公告）日: 2020-04-28
• 發(fā)明（設(shè)計(jì)）人: 閆智芃;陳鵬飛;王盼曲
• 申請（專利權(quán)）人: 圖森有限公司
• 主分類號: B60R1/00
• 分類號: B60R1/00;G06K9/00
• 代理公司: 北京商專永信知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11400
• 代理人: 鄔玥;方挺

1.一種系統(tǒng)，包括：

一個數(shù)據(jù)處理器；

一個魚眼圖像圖像系統(tǒng)，該系統(tǒng)可被數(shù)據(jù)處理器執(zhí)行，該魚眼圖像處理系統(tǒng)用于：

接收至少一個與自動駕駛車輛相關(guān)聯(lián)的魚眼鏡頭攝像頭的魚眼圖像數(shù)據(jù)，該魚眼圖像數(shù)據(jù)表示至少一個魚眼圖像幀；

將該魚眼圖像幀劃分為代表該魚眼圖像幀的各部分的多個圖像部分；

變形每個圖像部分以將攝像頭投影視野中的一個弧映射為與一個映射目標(biāo)視野對應(yīng)的直線，該映射目標(biāo)視野通常根據(jù)攝像頭中心和攝像頭投影視野中的弧的中心之間的直線進(jìn)行垂直定向；

將多個變形后的圖像部分組合為一個組合的結(jié)果魚眼圖像數(shù)據(jù)集，該數(shù)據(jù)集代表與魚眼圖像幀對應(yīng)的重建的或者減少失真的魚眼圖像數(shù)據(jù)；

生成表示至少一個魚眼圖像幀中的像素與組合的結(jié)果魚眼圖像數(shù)據(jù)集中的相應(yīng)像素之間的對應(yīng)關(guān)系的自動校正數(shù)據(jù)；

將組合的結(jié)果魚眼圖像數(shù)據(jù)集作為輸出提供給其他自動駕駛車輛子系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步用于對結(jié)合的結(jié)果魚眼圖像數(shù)據(jù)執(zhí)行對象提取，以識別出魚眼圖像幀中提取的對象。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步用于將映射目標(biāo)視野與自動駕駛車輛一側(cè)的一條直線進(jìn)行對齊。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，至少一個魚眼鏡頭攝像頭包括：左側(cè)魚眼鏡頭攝像頭，右側(cè)魚眼鏡頭攝像頭，以及頂部魚眼鏡頭攝像頭。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步用于獲取魚眼鏡頭的參數(shù)，該參數(shù)包括：魚眼鏡頭半徑、鏡頭開孔、焦距、以及目標(biāo)視野的視野角度。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步用于將魚眼圖像幀中的像素映射到結(jié)合的結(jié)果魚眼圖像數(shù)據(jù)集中的像素。

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步用于將魚眼圖像幀中的像素映射到組合的結(jié)果魚眼圖像數(shù)據(jù)集中，并結(jié)合全部的像素映射來生成一個端到端的映射以進(jìn)行優(yōu)化。

8.一種方法，包括：

接收至少一個與自動駕駛車輛相關(guān)聯(lián)的魚眼鏡頭攝像頭的魚眼圖像數(shù)據(jù)，該魚眼圖像數(shù)據(jù)表示至少一個魚眼圖像幀；

將該魚眼圖像幀劃分為代表該魚眼圖像幀的各部分的多個圖像部分；

變形每個圖像部分以將攝像頭投影視野中的一個弧映射為與一個映射目標(biāo)視野對應(yīng)的直線，該映射目標(biāo)視野通常根據(jù)攝像頭中心和攝像頭投影視野中的弧的中心之間的直線進(jìn)行垂直定向；

將多個變形后的圖像部分組合為一個組合的結(jié)果魚眼圖像數(shù)據(jù)集，該數(shù)據(jù)集代表與魚眼圖像幀對應(yīng)的重建的或者減少失真的魚眼圖像數(shù)據(jù)；

生成表示至少一個魚眼圖像幀中的像素與組合的結(jié)果魚眼圖像數(shù)據(jù)集中的相應(yīng)像素之間的對應(yīng)關(guān)系的自動校正數(shù)據(jù)；

將組合的結(jié)果魚眼圖像數(shù)據(jù)集作為輸出提供給其他自動駕駛車輛子系統(tǒng)。

9.根據(jù)權(quán)利要求8所述的方法，還包括對結(jié)合的結(jié)果魚眼圖像數(shù)據(jù)執(zhí)行對象提取，以識別出魚眼圖像幀中提取的對象。

10.根據(jù)權(quán)利要求8所述的方法，還包括將映射目標(biāo)視野與自動駕駛車輛一側(cè)的一條直線進(jìn)行對齊。

11.根據(jù)權(quán)利要求8所述的方法，至少一個魚眼鏡頭攝像頭包括：左側(cè)魚眼鏡頭攝像頭，右側(cè)魚眼鏡頭攝像頭，以及頂部魚眼鏡頭攝像頭。

12.根據(jù)權(quán)利要求8所述的方法，還包括獲取魚眼鏡頭的參數(shù)，該參數(shù)包括：魚眼鏡頭半徑、鏡頭開孔、焦距、以及目標(biāo)視野的視野角度。

13.根據(jù)權(quán)利要求8所述的方法，還包括將魚眼圖像幀中的像素映射到結(jié)合的結(jié)果魚眼圖像數(shù)據(jù)集中的像素。

14.根據(jù)權(quán)利要求8所述的方法，還包括將魚眼圖像幀中的像素映射到組合的結(jié)果魚眼圖像數(shù)據(jù)集中，并結(jié)合全部的像素映射來生成一個端到端的映射以進(jìn)行優(yōu)化。