[發(fā)明專利]基于車路協(xié)同的視覺(jué)信息融合處理方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910267615.3
• 申請(qǐng)日: 2019-04-03
• 公開(kāi)（公告）號(hào): CN111783502A
• 公開(kāi)（公告）日: 2020-10-16
• 發(fā)明（設(shè)計(jì)）人: 馬濰;胡榮東;馬源;彭美華
• 申請(qǐng)（專利權(quán)）人: 長(zhǎng)沙智能駕駛研究院有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06T5/50
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 董超男;張穎玲

1.一種基于車路協(xié)同的視覺(jué)信息融合處理方法，其特征在于，包括：

獲取目標(biāo)車輛的車載單元對(duì)應(yīng)的第一圖像數(shù)據(jù)；

根據(jù)時(shí)間同步的匹配規(guī)則，確定與所述第一圖像數(shù)據(jù)對(duì)應(yīng)的多個(gè)路側(cè)單元各自獲取的第二圖像數(shù)據(jù)，根據(jù)所述第一圖像數(shù)據(jù)與對(duì)應(yīng)的多個(gè)第二圖像數(shù)據(jù)形成目標(biāo)圖像數(shù)據(jù)集；其中，所述路側(cè)單元沿車道方向間隔排列且相鄰所述路側(cè)單元之間的感知區(qū)域有重疊；

將所述目標(biāo)圖像數(shù)據(jù)集基于重疊的感知區(qū)域所對(duì)應(yīng)的圖像特征進(jìn)行信息融合，獲得所述目標(biāo)車輛對(duì)應(yīng)的超視距視覺(jué)信息。

2.如權(quán)利要求1所述的基于車路協(xié)同的視覺(jué)信息融合處理方法，其特征在于，確定各路側(cè)單元獲取的第二圖像數(shù)據(jù)對(duì)應(yīng)單目相機(jī)采集的二維圖像信息時(shí)，將所述目標(biāo)圖像數(shù)據(jù)集基于重疊的感知區(qū)域所對(duì)應(yīng)的圖像特征進(jìn)行信息融合，包括：

基于所述第一圖像數(shù)據(jù)和各所述第二圖像數(shù)據(jù)分別對(duì)應(yīng)的位置數(shù)據(jù)確定二維圖像的拼接順序；

基于所述第一圖像數(shù)據(jù)和各所述第二圖像數(shù)據(jù)中的車道線特征確定各圖像數(shù)據(jù)轉(zhuǎn)換至同一平面視角對(duì)應(yīng)的透視變換矩陣；

基于各所述透視變換矩陣和所述二維圖像的拼接順序，對(duì)各圖像數(shù)據(jù)基于重疊區(qū)域的圖像特征進(jìn)行信息融合。

3.如權(quán)利要求2所述的基于車路協(xié)同的視覺(jué)信息融合處理方法，其特征在于，基于所述第一圖像數(shù)據(jù)和各所述第二圖像數(shù)據(jù)中的車道線特征確定各圖像數(shù)據(jù)轉(zhuǎn)換至同一平面視角對(duì)應(yīng)的透視變換矩陣，包括：

獲取各圖像數(shù)據(jù)中設(shè)定車道的左車道線、右車道線；

提取所述左車道線、所述右車道線在至少兩個(gè)不同圖像高度上的交點(diǎn)，基于車道線間寬度固定的原理，確定對(duì)應(yīng)的透視變換矩陣。

4.如權(quán)利要求3所述的基于車路協(xié)同的視覺(jué)信息融合處理方法，其特征在于，基于所述第一圖像數(shù)據(jù)和各所述第二圖像數(shù)據(jù)中的車道線特征確定各圖像數(shù)據(jù)轉(zhuǎn)換至同一平面視角對(duì)應(yīng)的透視變換矩陣，還包括：

獲取各圖像數(shù)據(jù)中設(shè)定車道的左車道線、右車道線經(jīng)所述透視變換矩陣轉(zhuǎn)換后的第一車道線、第二車道線；

基于所述第一車道線上任意點(diǎn)的法線與所述第二車道線相交的目標(biāo)點(diǎn)，根據(jù)所述任意點(diǎn)和所述目標(biāo)點(diǎn)的斜率相等優(yōu)化所述透視變換矩陣。

5.如權(quán)利要求3所述的基于車路協(xié)同的視覺(jué)信息融合處理方法，其特征在于，基于所述第一圖像數(shù)據(jù)和各所述第二圖像數(shù)據(jù)中的車道線特征確定各圖像數(shù)據(jù)轉(zhuǎn)換至同一平面視角對(duì)應(yīng)的透視變換矩陣，還包括：

獲取各圖像數(shù)據(jù)中設(shè)定車道的左車道線、右車道線經(jīng)所述透視變換矩陣轉(zhuǎn)換后的第一車道線、第二車道線；

獲取所述第一車道線上多個(gè)像素點(diǎn)的第一斜率及所述多個(gè)像素點(diǎn)的法線與所述第二車道線相交的交點(diǎn)的第二斜率，基于各所述第一斜率與對(duì)應(yīng)的所述第二斜率的差值確定代價(jià)函數(shù)；

基于所述代價(jià)函數(shù)采用非線性優(yōu)化方法優(yōu)化所述透視變換矩陣。

6.如權(quán)利要求1所述的基于車路協(xié)同的視覺(jué)信息融合處理方法，其特征在于，確定各路側(cè)單元獲取的第二圖像數(shù)據(jù)對(duì)應(yīng)多目相機(jī)采集的圖像數(shù)據(jù)時(shí)，將所述目標(biāo)圖像數(shù)據(jù)集基于重疊的感知區(qū)域所對(duì)應(yīng)的圖像特征進(jìn)行信息融合，包括：

基于所述第一圖像數(shù)據(jù)和各所述第二圖像數(shù)據(jù)分別對(duì)應(yīng)的位置數(shù)據(jù)確定三維視覺(jué)信息的拼接順序；

基于各所述第二圖像數(shù)據(jù)對(duì)應(yīng)的第一轉(zhuǎn)換關(guān)系、相鄰兩路側(cè)單元的第二圖像數(shù)據(jù)間重疊區(qū)域的圖像特征確定所述相鄰兩路側(cè)單元的第二圖像數(shù)據(jù)之間的第二轉(zhuǎn)換關(guān)系；其中，所述第一轉(zhuǎn)換關(guān)系為所述第二圖像數(shù)據(jù)的圖像坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系；

基于各所述第二轉(zhuǎn)換關(guān)系對(duì)所述第二圖像數(shù)據(jù)對(duì)應(yīng)的三維視覺(jué)信息按照所述三維視覺(jué)信息的拼接順序進(jìn)行拼接；

基于所述第一圖像數(shù)據(jù)對(duì)應(yīng)第三轉(zhuǎn)換關(guān)系、所述第一圖像數(shù)據(jù)和與其有重疊的所述第二圖像數(shù)據(jù)之間重疊區(qū)域的圖像特征確定將所述第一圖像數(shù)據(jù)對(duì)應(yīng)的第四轉(zhuǎn)換關(guān)系；其中，所述第三轉(zhuǎn)換關(guān)系為所述第一圖像數(shù)據(jù)的圖像坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，所述第四轉(zhuǎn)換關(guān)系為將所述第一圖像數(shù)據(jù)轉(zhuǎn)換至拼接后的所述第二圖像數(shù)據(jù)中的轉(zhuǎn)換關(guān)系；

基于所述第四轉(zhuǎn)換關(guān)系對(duì)所述第一圖像數(shù)據(jù)對(duì)應(yīng)的三維視覺(jué)信息和拼接后的所述第二圖像數(shù)據(jù)對(duì)應(yīng)的三維視覺(jué)信息進(jìn)行信息融合。