[發(fā)明專利]一種基于視覺語義分割技術(shù)的車輛實(shí)時(shí)定位方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110654423.5
• 申請(qǐng)日: 2021-06-11
• 公開（公告）號(hào): CN113362394A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 溫加睿;蔣如意;馬光林;于萌萌;田鈞
• 申請(qǐng)（專利權(quán)）人: 上海追勢(shì)科技有限公司
• 主分類號(hào): G06T7/80
• 分類號(hào): G06T7/80;G06T7/73;G06T7/12;G06T7/13;G06T3/40;G06K9/00;G06K9/62
• 代理公司: 上海大為知衛(wèi)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31390
• 代理人: 尤瑩

本發(fā)明涉及車輛實(shí)時(shí)定位技術(shù)領(lǐng)域，具體為一種基于視覺語義分割技術(shù)的車輛實(shí)時(shí)定位方法，標(biāo)定全景環(huán)視相機(jī)的內(nèi)外參數(shù)，用于獲取車輛的全景拼接圖像，并獲取圖像中物體與車輛的位置關(guān)系；訓(xùn)練語義分割模型；實(shí)時(shí)采集相機(jī)圖像，通過搭載在車上的4個(gè)環(huán)視語義相機(jī)采集圖像，輸入到控制系統(tǒng)；拼接全景俯視圖，輸出全景拼接俯視圖；通過建立的語義分割模型，輸出語義分割結(jié)果；提取語義與形狀信息，形成多個(gè)語義目標(biāo)塊；地圖比對(duì)，迭代優(yōu)化自車在地圖中的位置，完成準(zhǔn)確定位。本發(fā)明實(shí)現(xiàn)狹窄道路環(huán)境下的高精度定位，且利用全景環(huán)視系統(tǒng)實(shí)現(xiàn)低成本的高精度定位。

技術(shù)領(lǐng)域

本發(fā)明涉及車輛實(shí)時(shí)定位技術(shù)領(lǐng)域，具體為一種基于視覺語義分割技術(shù)的車輛實(shí)時(shí)定位方法。

背景技術(shù)

自主泊車系統(tǒng)是一種用于解決車輛從停車場(chǎng)入口到停車位之間的車輛自動(dòng)駕駛的問題，在level4的限定場(chǎng)景中完全無人駕駛系統(tǒng)。該系統(tǒng)通過車載運(yùn)算單元以及車載的傳感器實(shí)現(xiàn)對(duì)于環(huán)境的感知、路徑避障、車位搜尋以及車位泊入等全自動(dòng)功能。同時(shí)，為了實(shí)現(xiàn)停車場(chǎng)范圍內(nèi)的自主巡航，自主泊車系統(tǒng)需要一套停車場(chǎng)的高精地圖，以及相應(yīng)的實(shí)時(shí)定位系統(tǒng)。自主泊車中的實(shí)時(shí)定位系統(tǒng)一般采用車載傳感器，如環(huán)視相機(jī)、前視相機(jī)、毫米波雷達(dá)等，通過傳感器提取的信息跟高精地圖進(jìn)行比對(duì)，實(shí)現(xiàn)對(duì)于車輛在高精地圖中的定位。在這過程中，基于毫米波/視覺SLAM定位技術(shù)或基于高精度地圖+語義目標(biāo)檢測(cè)的視覺定位是常見的解決方法。然而，毫米波定位法容易在車身周圍產(chǎn)生無法感知的盲區(qū)、視覺語義目標(biāo)檢測(cè)在目標(biāo)離車輛距離很近時(shí)難以正常工作，因此這些方法無法應(yīng)用于道路狹窄的場(chǎng)景，如地下車庫的上下坡入口或狹窄的過道當(dāng)中。

語義分割定位方案可以有效地處理盲區(qū)影響嚴(yán)重，狹窄視野受限的復(fù)雜場(chǎng)景，視覺語義分割是對(duì)圖像像素進(jìn)行分類的一種圖像處理技術(shù)，結(jié)合全景拼接與語義分割能夠在形狀結(jié)構(gòu)復(fù)雜的場(chǎng)景中可以清晰、直接地描述車輛的周邊環(huán)境的輪廓，進(jìn)而能夠地圖數(shù)據(jù)的語義類型與不規(guī)則邊緣形狀形成更魯棒與精確的匹配。因此，利用語義分割進(jìn)行環(huán)境感知，可以有效地實(shí)現(xiàn)車輛在封閉復(fù)雜場(chǎng)景中的高精度定位。鑒于此，我們提出一種基于視覺語義分割技術(shù)的車輛實(shí)時(shí)定位方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于視覺語義分割技術(shù)的車輛實(shí)時(shí)定位方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于視覺語義分割技術(shù)的車輛實(shí)時(shí)定位方法，其特征在于，包括以下步驟：

步驟1：標(biāo)定全景環(huán)視相機(jī)的內(nèi)外參數(shù)，用于獲取車輛的全景拼接圖像，并獲取圖像中物體與車輛的位置關(guān)系；

步驟2：訓(xùn)練語義分割模型，通過設(shè)計(jì)基于全景拼接圖像與深度學(xué)習(xí)算法的語義分割網(wǎng)絡(luò)，采集數(shù)據(jù)進(jìn)行訓(xùn)練；

步驟3：實(shí)時(shí)采集相機(jī)圖像，通過搭載在車上的4個(gè)環(huán)視語義相機(jī)采集圖像，輸入到控制系統(tǒng)；

步驟4：拼接全景俯視圖，輸入相機(jī)參數(shù)與相機(jī)圖像，輸出全景拼接俯視圖；

步驟5：語義分割算法，輸入全景拼接俯視圖，通過建立的語義分割模型，輸出語義分割結(jié)果；

步驟6：提取語義與形狀信息，語義分割結(jié)果為單個(gè)通道的圖像，語義類型通過像素值反映，將原始的像素?cái)?shù)據(jù)按照類型進(jìn)行聚類并提取目標(biāo)邊緣輪廓，形成多個(gè)語義目標(biāo)塊；

步驟7：地圖比對(duì)，定位濾波算法，通過建立基于不規(guī)則形狀語義特征的測(cè)量模型，通過定位濾波算法跟地圖上的信息作對(duì)比，即可以迭代優(yōu)化自車在地圖中的位置，完成準(zhǔn)確定位。

優(yōu)選的，步驟2中，語義分割網(wǎng)絡(luò)的網(wǎng)絡(luò)輸出包括但不限于以下語義信息：立柱、墻面、路面、輪檔、斑馬線、減速帶、道路箭頭、停車位、車道線。