[發(fā)明專利]圖像檢測(cè)模型的訓(xùn)練方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)和車輛

在審

• 申請(qǐng)?zhí)枺?/td>: 202310332499.5
• 申請(qǐng)日: 2023-03-30
• 公開（公告）號(hào): CN116416494A
• 公開（公告）日: 2023-07-11
• 發(fā)明（設(shè)計(jì)）人: 江天;羅詠剛;馬金燕
• 申請(qǐng)（專利權(quán)）人: 重慶長安汽車股份有限公司
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V10/82;G06T17/00;G06T15/08;G06N3/08
• 代理公司: 北京中博世達(dá)專利商標(biāo)代理有限公司 11274
• 代理人: 王晶

本申請(qǐng)涉及一種圖像檢測(cè)模型的訓(xùn)練方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)和車輛，涉及圖像檢測(cè)技術(shù)領(lǐng)域。該方法包括：基于預(yù)設(shè)的神經(jīng)輻射場(chǎng)算法對(duì)預(yù)設(shè)二維圖像進(jìn)行處理，得到目標(biāo)對(duì)象對(duì)應(yīng)的三維表示；基于多個(gè)預(yù)設(shè)視角以及三維表示，確定多個(gè)目標(biāo)二維圖像；根據(jù)初始圖像檢測(cè)模型，對(duì)每個(gè)目標(biāo)二維圖像進(jìn)行檢測(cè)，得到每個(gè)目標(biāo)二維圖像中目標(biāo)對(duì)象的檢測(cè)結(jié)果，并確定初始圖像檢測(cè)模型針對(duì)每個(gè)預(yù)設(shè)視角的損失值，得到與多個(gè)預(yù)設(shè)視角對(duì)應(yīng)的多個(gè)損失值。進(jìn)一步的，將多個(gè)損失值中最大損失值對(duì)應(yīng)的預(yù)設(shè)視角確定為目標(biāo)視角，并基于所述目標(biāo)視角對(duì)所述初始圖像檢測(cè)模型進(jìn)行訓(xùn)練，得到目標(biāo)圖像檢測(cè)模型。由此，可以提高圖像檢測(cè)模型檢測(cè)圖像的準(zhǔn)確率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像檢測(cè)領(lǐng)域，尤其涉及汽車智能化應(yīng)用技術(shù)領(lǐng)域，具體涉及一種圖像檢測(cè)模型的訓(xùn)練方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)和車輛。

背景技術(shù)

目前，圖像檢測(cè)已經(jīng)被廣泛應(yīng)用于如自動(dòng)駕駛、監(jiān)控等場(chǎng)景，通常可以基于圖像檢測(cè)模型識(shí)別上述場(chǎng)景中存在的目標(biāo)對(duì)象；但是由于圖像檢測(cè)模型無法準(zhǔn)確的識(shí)別部分視角下的目標(biāo)對(duì)象，可能會(huì)導(dǎo)致圖像檢測(cè)結(jié)果不準(zhǔn)確。

相關(guān)技術(shù)中，主要是通過人工采集樣本對(duì)象在幾個(gè)固定視角下的二維圖像，并將采集到的二維圖像作為圖像檢測(cè)模型的訓(xùn)練樣本數(shù)據(jù)，以期圖像檢測(cè)模型能夠準(zhǔn)確識(shí)別更多視角下的目標(biāo)對(duì)象。但是，由于相關(guān)技術(shù)中人工采集的視角數(shù)量少，且不能夠真實(shí)反映圖像檢測(cè)模型所不能識(shí)別的部分視角，仍然會(huì)導(dǎo)致圖像檢測(cè)模型的檢測(cè)結(jié)果不準(zhǔn)確。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N圖像檢測(cè)模型的訓(xùn)練方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)和車輛，以至少解決相關(guān)技術(shù)中圖像檢測(cè)模型的檢測(cè)結(jié)果不夠準(zhǔn)確的技術(shù)問題。本申請(qǐng)的技術(shù)方案如下：

根據(jù)本申請(qǐng)涉及的第一方面，提供一種圖像檢測(cè)模型的訓(xùn)練方法，包括：獲取預(yù)設(shè)二維圖像；預(yù)設(shè)二維圖像包括目標(biāo)對(duì)象；基于預(yù)設(shè)的神經(jīng)輻射場(chǎng)(neural?radiancefields，NeRF)算法對(duì)預(yù)設(shè)二維圖像進(jìn)行處理，得到目標(biāo)對(duì)象對(duì)應(yīng)的三維表示；基于多個(gè)預(yù)設(shè)視角以及三維表示，確定多個(gè)目標(biāo)二維圖像；一個(gè)目標(biāo)二維圖像包括一個(gè)預(yù)設(shè)視角下的目標(biāo)對(duì)象；根據(jù)初始圖像檢測(cè)模型，對(duì)每個(gè)目標(biāo)二維圖像進(jìn)行檢測(cè)，得到每個(gè)目標(biāo)二維圖像中目標(biāo)對(duì)象的檢測(cè)結(jié)果；根據(jù)每個(gè)目標(biāo)二維圖像中目標(biāo)對(duì)象的檢測(cè)結(jié)果以及目標(biāo)對(duì)象的實(shí)際信息，確定初始圖像檢測(cè)模型針對(duì)每個(gè)預(yù)設(shè)視角的損失值，得到與多個(gè)預(yù)設(shè)視角對(duì)應(yīng)的多個(gè)損失值；將多個(gè)損失值中最大損失值對(duì)應(yīng)的預(yù)設(shè)視角確定為目標(biāo)視角，并基于目標(biāo)視角對(duì)初始圖像檢測(cè)模型進(jìn)行訓(xùn)練，得到目標(biāo)圖像檢測(cè)模型。

根據(jù)上述技術(shù)手段，本申請(qǐng)可以通過獲取預(yù)設(shè)二維圖像,并基于預(yù)設(shè)的神經(jīng)輻射場(chǎng)NeRF算法對(duì)預(yù)設(shè)二維圖像進(jìn)行處理，得到目標(biāo)對(duì)象對(duì)應(yīng)的三維表示，然后基于多個(gè)預(yù)設(shè)視角以及三維表示，確定多個(gè)目標(biāo)二維圖像。相應(yīng)的，對(duì)每個(gè)目標(biāo)二維圖像進(jìn)行檢測(cè)，并根據(jù)多個(gè)檢測(cè)結(jié)果中確定損失值最大的預(yù)設(shè)視角，將其確定為用于訓(xùn)練初始圖像檢測(cè)模型的目標(biāo)視角。這樣，基于神經(jīng)輻射場(chǎng)算法和預(yù)設(shè)二維圖像對(duì)目標(biāo)對(duì)象進(jìn)行三維表示重建，并根據(jù)重建后的三維表示輸出與多個(gè)預(yù)設(shè)視角一一對(duì)應(yīng)的多個(gè)目標(biāo)二維圖像，實(shí)現(xiàn)了不需要依賴人工采集得到更多其它視角下的二維圖像，可以豐富圖像檢測(cè)模型的訓(xùn)練樣本。同時(shí)，可以根據(jù)多個(gè)預(yù)設(shè)視角，獲取多個(gè)目標(biāo)二維圖像，實(shí)現(xiàn)了預(yù)設(shè)視角的多樣性，同時(shí)從多個(gè)預(yù)設(shè)視角中確定使初始圖像檢測(cè)模型的損失值最大的目標(biāo)視角，進(jìn)而根據(jù)目標(biāo)視角對(duì)初始圖像檢測(cè)模型進(jìn)行訓(xùn)練，可以使圖像檢測(cè)模型能夠?qū)W習(xí)到目標(biāo)視角下的圖像特征，進(jìn)而可以提高圖像檢測(cè)模型的準(zhǔn)確率。

在一種可能的實(shí)施方式中，上述方法還包括：確定預(yù)設(shè)的初始訓(xùn)練輪數(shù)；根據(jù)初始訓(xùn)練輪數(shù)，從預(yù)設(shè)的視角范圍中確定多個(gè)預(yù)設(shè)視角；多個(gè)預(yù)設(shè)視角的數(shù)量為初始訓(xùn)練輪數(shù)。

根據(jù)上述技術(shù)手段，本申請(qǐng)可以通過預(yù)先確定預(yù)設(shè)的初始訓(xùn)練輪數(shù)，并根據(jù)初始訓(xùn)練輪數(shù)，從預(yù)設(shè)的視角范圍中隨機(jī)生成與初始訓(xùn)練輪數(shù)相同的多個(gè)預(yù)設(shè)視角。這樣，由于在三維環(huán)境下，模型的視角有各種組合和變化，是無法通過窮盡的辦法來得到損失值最大的二維圖像所對(duì)應(yīng)的視角，所以，通過預(yù)設(shè)的視角范圍和初始訓(xùn)練輪數(shù)，實(shí)現(xiàn)了確定多個(gè)預(yù)設(shè)視角。