[發(fā)明專利]一種車輛駕駛視野增強(qiáng)方法、設(shè)備及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011016127.4
• 申請日: 2020-09-24
• 公開（公告）號: CN112184605A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計）人: 丁磊;姚聰
• 申請（專利權(quán)）人: 華人運(yùn)通（上海）自動駕駛科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/73;G06K9/00
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

本發(fā)明公開了一種車輛駕駛視野增強(qiáng)方法、設(shè)備及系統(tǒng)，所述方法包括：獲取車輛當(dāng)前行駛的車道上的多個車道攝像頭對車道拍攝到的路面圖像；從多個車道攝像頭拍攝到的路面圖像中確定包含有車輛的路面圖像；對包含有車輛的路面圖像進(jìn)行圖像分析，以分析出車輛在車道上的行駛位置及相對于車道的車輛行駛位姿；根據(jù)多個車道攝像頭拍攝到的路面圖像對車道進(jìn)行路面的場景重建，得到車道的路面重建場景圖；根據(jù)行駛位置及車輛行駛位姿，得到車輛在路面重建場景圖中的行駛視角畫面，并將行駛視角畫面發(fā)送至車輛的顯示裝置進(jìn)行顯示。本發(fā)明能夠無需在車輛上安裝復(fù)雜的夜視系統(tǒng)也能夠?yàn)檐囕v在弱光環(huán)境下安全行駛提供保障。

技術(shù)領(lǐng)域

本發(fā)明涉及車輛的輔助安全技術(shù)領(lǐng)域，尤其涉及一種車輛夜視方法、裝置及系統(tǒng)。

背景技術(shù)

隨著科技的發(fā)展，車輛夜視系統(tǒng)為車輛在夜晚等弱光環(huán)境下的感知能力逐步提高，為車輛在弱光環(huán)境下安全行駛提供了極大的保障。

但是現(xiàn)有技術(shù)的車輛夜視系統(tǒng)存在以下不足：成本較高，目前只配置在少量高端品牌的高端車型上；并且夜視能力較好的夜視相機(jī)體積較大，較難安裝在車輛中。

發(fā)明內(nèi)容

本發(fā)明提出本發(fā)明提出一種車輛駕駛視野增強(qiáng)方法、裝置及系統(tǒng)，無需在車輛上安裝復(fù)雜的夜視系統(tǒng)也能夠?yàn)檐囕v在弱光環(huán)境下安全行駛提供保障，節(jié)約成本。

本發(fā)明一實(shí)施例提供一種車輛駕駛視野增強(qiáng)方法，其包括：獲取車輛當(dāng)前行駛的車道上的多個車道攝像頭對所述車道拍攝到的路面圖像；

從所述多個車道攝像頭拍攝到的路面圖像中確定包含有所述車輛的路面圖像；

對包含有所述車輛的路面圖像進(jìn)行圖像分析，以分析出車輛在所述車道上的行駛位置及相對于所述車道的車輛行駛位姿；

根據(jù)所述多個車道攝像頭拍攝到的所述路面圖像對所述車道進(jìn)行路面的場景重建，得到所述車道的路面重建場景圖；

根據(jù)所述行駛位置及所述車輛行駛位姿，得到所述車輛在所述路面重建場景圖中的行駛視角畫面，并將所述行駛視角畫面發(fā)送至所述車輛的顯示裝置進(jìn)行顯示。

作為上述方案的改進(jìn)，所述對包含有所述車輛的路面圖像進(jìn)行圖像分析，以分析出車輛在所述車道上的行駛位置及相對于所述車道的車輛行駛位姿，包括：

對包含有所述車輛的所述路面圖像進(jìn)行車輛及車道路面的識別，以識別出車輛在車道上的行駛位置；

將包含有所述車輛的所述路面圖像輸入訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，以提取所述路面圖像中的車輛的特征關(guān)鍵點(diǎn)；其中，所述特征關(guān)鍵點(diǎn)包括所述車輛輪轂中心和車燈；

將獲取到的所述車輛的特征關(guān)鍵點(diǎn)與所述車輛的預(yù)設(shè)的車輛模型的特征關(guān)鍵點(diǎn)進(jìn)行計算比對，得到車輛相對于所述車道的車輛行駛位姿。

作為上述方案的改進(jìn)，在所述對包含有所述車輛的路面圖像進(jìn)行圖像分析，以分析出車輛在所述車道上的行駛位置及相對于所述車道的車輛行駛位姿之前，所述方法還包括：

獲取車輛的多張不同拍攝角度的車輛行駛圖像，形成訓(xùn)練數(shù)據(jù)集；

提取所述車輛行駛圖像中的車輛的特征關(guān)鍵點(diǎn)，并對所述特征關(guān)鍵點(diǎn)進(jìn)行標(biāo)注；其中，所述特征關(guān)鍵點(diǎn)包括所述車輛輪轂中心和車燈；

搭建用于目標(biāo)檢測的深度神經(jīng)網(wǎng)絡(luò)，并將所述訓(xùn)練數(shù)據(jù)集中的圖像輸入到深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)。

作為上述方案的改進(jìn)，所述對包含有所述車輛的所述路面圖像進(jìn)行車輛及車道路面的識別，以識別出車輛在車道上的行駛位置，包括：

獲取包含有所述車輛的所述路面圖像中的各個物體的圖像輪廓；

將所述各個物體的圖像輪廓與預(yù)設(shè)的車輛輪廓及預(yù)設(shè)的車道路面輪廓進(jìn)行比對，以識別出所述路面圖像中的車輛及車道路面；