[發(fā)明專利]一種基于深度信息估計(jì)的單目圖像三維目標(biāo)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110541790.4
• 申請(qǐng)日: 2021-05-18
• 公開（公告）號(hào): CN113436239A
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 葉青松;劉瑋;馬云;段帥東;高明強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)地質(zhì)大學(xué)（武漢）
• 主分類號(hào): G06T7/50
• 分類號(hào): G06T7/50;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明提供了一種基于深度信息估計(jì)的單目圖像三維目標(biāo)檢測(cè)方法，該單目圖像三維目標(biāo)檢測(cè)方法僅需輸入單目圖像，利用FasterR?CNN網(wǎng)絡(luò)模型，可以進(jìn)行端到端的訓(xùn)練和預(yù)測(cè)，完成道路目標(biāo)的三維檢測(cè)任務(wù)。整個(gè)單目圖像三維目標(biāo)檢測(cè)方法的框架大致可以分為三個(gè)部分：候選區(qū)域提議、深度估計(jì)分支網(wǎng)絡(luò)、參數(shù)估計(jì)預(yù)測(cè)部分。本發(fā)明的有益效果是：通過(guò)多任務(wù)的訓(xùn)練學(xué)習(xí)，提高計(jì)算資源利用效率，并解決目標(biāo)在經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)特征提取環(huán)節(jié)之后會(huì)丟失位置信息的問(wèn)題，提升最終的檢測(cè)精度。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于深度信息估計(jì)的單目圖像三維目標(biāo)檢測(cè)方法。

背景技術(shù)

目標(biāo)檢測(cè)的任務(wù)是識(shí)別出給定圖像中所有感興趣的目標(biāo)，確定它們的類別和位置，其可以應(yīng)用到各個(gè)場(chǎng)景。而通常所說(shuō)的三維目標(biāo)檢測(cè)主要針對(duì)自動(dòng)駕駛環(huán)境下以車輛為主要目標(biāo)的檢測(cè)任務(wù)，給出車輛目標(biāo)等的三維檢測(cè)結(jié)果，包括目標(biāo)的類別、二維檢測(cè)框、三維檢測(cè)框等。自動(dòng)駕駛車輛主動(dòng)安全技術(shù)的研究重點(diǎn)之一是道路環(huán)境感知技術(shù)，而道路目標(biāo)的準(zhǔn)確檢測(cè)則是道路環(huán)境感知技術(shù)的核心部分。因此，更好地完成道路目標(biāo)檢測(cè)任務(wù)才能保證車輛對(duì)道路環(huán)境感知的準(zhǔn)確性和及時(shí)性，從而精確地指導(dǎo)智能車輛的決策控制，確保自動(dòng)駕駛的安全性。

傳統(tǒng)的目標(biāo)檢測(cè)方法，其存在的問(wèn)題主要包括兩個(gè)方面：一是基于滑動(dòng)窗口的區(qū)域選擇策略沒(méi)有針對(duì)性，復(fù)雜度高，窗口冗余；二是手工設(shè)計(jì)的特征對(duì)于多樣性的變化并沒(méi)有很好的魯棒性。因而隨著人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展，主流的目標(biāo)檢測(cè)方法已經(jīng)選擇使用基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的方法來(lái)完成。

目前針對(duì)道路環(huán)境的目標(biāo)檢測(cè)方法，根據(jù)輸入數(shù)據(jù)的不同可分為基于激光雷達(dá)的方法和基于圖像的方法。基于圖像的方法，因?yàn)槭褂玫氖禽^為常見的相機(jī)獲取的平面圖像，因而更具有實(shí)際應(yīng)用價(jià)值，就目前而言，方法較為完善、應(yīng)用更為廣泛的是二維目標(biāo)檢測(cè)，其更傾向于解決目標(biāo)分類及二維框定任務(wù)，無(wú)法獲取待檢測(cè)目標(biāo)的三維信息，無(wú)法滿足自動(dòng)駕駛車輛對(duì)于真實(shí)世界三維信息的需求。考慮到上述二維檢測(cè)結(jié)果在三維信息需求上的不足以及激光雷達(dá)方法的昂貴性，催生了近年來(lái)對(duì)于基于單目圖像的三維目標(biāo)檢測(cè)方法的研究。

現(xiàn)有的技術(shù)多是直接利用或間接結(jié)合激光雷達(dá)點(diǎn)云數(shù)據(jù)去完成道路環(huán)境下的三維目標(biāo)檢測(cè)任務(wù)，沒(méi)有純粹基于圖像的方法，或多或少利用了點(diǎn)云數(shù)據(jù)在目前三維目標(biāo)檢測(cè)領(lǐng)域的優(yōu)勢(shì)，而激光雷達(dá)的昂貴性限制了方法在實(shí)際自動(dòng)駕駛車輛上的量產(chǎn)使用。與此同時(shí)，基于圖像的方法往往沒(méi)有充分利用目標(biāo)在圖像中的位置信息，其在卷積神經(jīng)網(wǎng)絡(luò)特征提取環(huán)節(jié)的丟失會(huì)影響最終對(duì)于目標(biāo)位置的估計(jì)預(yù)測(cè)。此外，現(xiàn)有的一些方法需要較為大量的訓(xùn)練時(shí)間、存儲(chǔ)空間和計(jì)算資源。

相對(duì)上述兩者而言，基于單目圖像的三維目標(biāo)檢測(cè)發(fā)展起步較晚，本發(fā)明即提出一種基于深度信息估計(jì)的單目圖像三維目標(biāo)檢測(cè)方法，主要解決的問(wèn)題如下：

(1)現(xiàn)有的基于單目圖像的三維目標(biāo)檢測(cè)方法的檢測(cè)精度普遍不高，針對(duì)此問(wèn)題提出一種基于深度信息估計(jì)的單目圖像三維目標(biāo)檢測(cè)方法，相較于已有方法一定程度上提升檢測(cè)結(jié)果精度。

(2)平面圖像經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)的處理，在經(jīng)過(guò)特征提取獲取特征圖環(huán)節(jié)后會(huì)丟失圖像中本就不多的目標(biāo)位置信息，對(duì)于最終的目標(biāo)位置的估計(jì)預(yù)測(cè)影響較大。已有方法往往未能充分利用目標(biāo)在圖像中的位置信息，本發(fā)明即選擇設(shè)計(jì)引入深度信息估計(jì)分支以改善解決此問(wèn)題。

(3)現(xiàn)有的一些方法需要較為大量的訓(xùn)練時(shí)間、存儲(chǔ)空間和計(jì)算資源，針對(duì)此問(wèn)題，本發(fā)明提出的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型可以進(jìn)行端到端的聯(lián)合訓(xùn)練，通過(guò)多任務(wù)的訓(xùn)練學(xué)習(xí)，提高計(jì)算資源利用效率。

發(fā)明內(nèi)容