[發(fā)明專利]基于深度學(xué)習(xí)的無監(jiān)督端到端的駕駛環(huán)境感知方法

有效

• 申請?zhí)枺?/td>: 201911345900.9
• 申請日: 2019-12-24
• 公開（公告）號: CN111105432B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 陳宗海;洪洋;王紀(jì)凱;戴德云;趙皓;包鵬;江建文
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/269;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 北京凱特來知識產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發(fā)明公開了一種基于深度學(xué)習(xí)的無監(jiān)督端到端的駕駛環(huán)境感知方法，包括：利用雙目相機(jī)進(jìn)行圖像采集，并通過預(yù)處理獲得訓(xùn)練數(shù)據(jù)；利用訓(xùn)練數(shù)據(jù)中兩個連續(xù)的大小相同的立體圖像對訓(xùn)練光流估計(jì)網(wǎng)絡(luò)、位姿估計(jì)網(wǎng)絡(luò)、深度估計(jì)網(wǎng)絡(luò)以及運(yùn)動分割；利用三個網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行剛性配準(zhǔn)，來優(yōu)化位姿估計(jì)網(wǎng)絡(luò)的輸出；利用深度估計(jì)網(wǎng)絡(luò)的輸出，以及優(yōu)化后的位姿估計(jì)網(wǎng)絡(luò)的輸出計(jì)算由攝像機(jī)運(yùn)動引起的剛性流，并與光流估計(jì)網(wǎng)絡(luò)的輸出進(jìn)行流一致性檢查，從而進(jìn)行運(yùn)動分割。上述方法采用無監(jiān)督的端到端框架不需要真值深度、位姿和光流作為標(biāo)簽監(jiān)督訓(xùn)練，并且能夠獲得具有絕對尺度的相機(jī)位姿和稠密的深度圖估計(jì)，從而可以以較高的精度分割出動態(tài)物體。

技術(shù)領(lǐng)域

本發(fā)明涉及智能駕駛技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的無監(jiān)督端到端的駕駛環(huán)境感知方法。

背景技術(shù)

從視頻圖像中學(xué)習(xí)三維場景幾何結(jié)構(gòu)、場景流以及機(jī)器人相對于剛性場景的運(yùn)動是計(jì)算機(jī)視覺中的重要研究內(nèi)容，并且已經(jīng)在許多不同領(lǐng)域有著廣泛應(yīng)用，包括自動駕駛、機(jī)器人導(dǎo)航和視頻分析等。然而，當(dāng)前基于深度學(xué)習(xí)的環(huán)境感知方法都是監(jiān)督型的學(xué)習(xí)框架，獲取用于訓(xùn)練的真值標(biāo)簽是非常困難的。近年來，在利用卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行深度、光流和位姿的無監(jiān)督學(xué)習(xí)方面，已經(jīng)取得了許多進(jìn)展。這些方法都有各自的優(yōu)點(diǎn)和局限性。無監(jiān)督的深度學(xué)習(xí)方法利用場景的幾何結(jié)構(gòu)并將問題分解為多個正交的問題，可以利用更多的時間圖像幀或立體圖像信息向解決方案中添加更多約束。一方面，當(dāng)前基于深度學(xué)習(xí)的光流、深度與位姿估計(jì)方法假設(shè)整個場景是靜態(tài)的，因此難以處理運(yùn)動物體。另一方面，光流法原則上可以處理運(yùn)動物體，但是在復(fù)雜結(jié)構(gòu)區(qū)域和遮擋區(qū)域中存在困難。

中國專利《利用深度學(xué)習(xí)對視頻序列中單目視圖深度估計(jì)優(yōu)化方法》(公開號：CN108765479A)利用深度學(xué)習(xí)對視頻序列中單目視圖深度估計(jì)優(yōu)化，但這種基于單目視覺的方法具有尺度不確定性，因此估計(jì)的深度尺度未知，不具有實(shí)際應(yīng)用價值。

中國專利《一種基于深度卷積網(wǎng)絡(luò)的雙目深度估計(jì)方法》(公開號：CN109598754A)利用雙目圖像來訓(xùn)練深層卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行深度估計(jì)，但是訓(xùn)練過程中需要真值深度作為標(biāo)簽參與訓(xùn)練，然而在實(shí)際環(huán)境中獲得真值深度是非常困難且昂貴的。

中國專利《一種基于無監(jiān)督學(xué)習(xí)的單目視覺定位方法》(公開號：CN109472830A)利用無監(jiān)督學(xué)習(xí)的方法進(jìn)行單目視覺定位，但是單目視覺定位存在尺度不確定性和尺度漂移，定位精度差，且定位的尺度不確定性，在實(shí)際環(huán)境中沒有工程價值。

因此，目前基于深度學(xué)習(xí)的駕駛環(huán)境感知方法中依然存在的問題如下：

1)使用單目圖片序列訓(xùn)練的深度估計(jì)和位姿估計(jì)深度學(xué)習(xí)模型，受限于單目尺度不確定性及尺度漂移，所估計(jì)的深度及位姿尺度未知，不具有實(shí)際應(yīng)用價值；

2)當(dāng)前基于深度學(xué)習(xí)的深度估計(jì)、位姿估計(jì)和光流估計(jì)方法需要真值監(jiān)督訓(xùn)練，但是現(xiàn)實(shí)環(huán)境中真值數(shù)據(jù)獲取非常困難且需要高昂的代價；

3)實(shí)際駕駛環(huán)境中動態(tài)物體非常常見，當(dāng)前基于深度學(xué)習(xí)的環(huán)境感知方法并沒有考慮動態(tài)物體的影響，精度有待進(jìn)一步提高。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于深度學(xué)習(xí)的無監(jiān)督端到端的駕駛環(huán)境感知方法，采用無監(jiān)督的端到端框架不需要真值深度、位姿和光流作為標(biāo)簽監(jiān)督訓(xùn)練，并且能夠獲得具有絕對尺度的相機(jī)位姿和稠密的深度圖估計(jì)，從而可以以較高的精度分割出動態(tài)物體。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種基于深度學(xué)習(xí)的無監(jiān)督端到端的駕駛環(huán)境感知方法，包括：

利用雙目相機(jī)進(jìn)行圖像采集，并通過預(yù)處理獲得訓(xùn)練數(shù)據(jù)；

利用訓(xùn)練數(shù)據(jù)中兩個連續(xù)的大小相同的立體圖像對訓(xùn)練光流估計(jì)網(wǎng)絡(luò)、位姿估計(jì)網(wǎng)絡(luò)、深度估計(jì)網(wǎng)絡(luò)以及運(yùn)動分割；