[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)訓(xùn)練、行駛控制方法及裝置

在審

• 申請?zhí)枺?/td>: 202110224337.0
• 申請日: 2021-02-26
• 公開（公告）號: CN112926461A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 王泰;祝新革;林達(dá)華
• 申請（專利權(quán)）人: 商湯集團(tuán)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

本公開提供了一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練、行駛控制方法、裝置、電子設(shè)備及存儲介質(zhì)，該方法包括：獲取訓(xùn)練樣本；基于訓(xùn)練樣本中待檢測對象的二維標(biāo)注框的尺度，確定二維標(biāo)注框內(nèi)每個(gè)像素點(diǎn)匹配的目標(biāo)神經(jīng)網(wǎng)絡(luò)中的子網(wǎng)絡(luò)結(jié)構(gòu)；其中，不同子網(wǎng)絡(luò)結(jié)構(gòu)用于對訓(xùn)練樣本中不同尺度的二維標(biāo)注框內(nèi)的像素點(diǎn)進(jìn)行特征提取；確定訓(xùn)練樣本中二維標(biāo)注框內(nèi)的至少一個(gè)像素點(diǎn)對應(yīng)的、待檢測對象的三維標(biāo)注數(shù)據(jù)；基于各個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)分別對應(yīng)的、具有三維標(biāo)注數(shù)據(jù)的至少一個(gè)像素點(diǎn)，訓(xùn)練目標(biāo)神經(jīng)網(wǎng)絡(luò)中的每個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)，得到訓(xùn)練后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

技術(shù)領(lǐng)域

本公開涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，具體而言，涉及一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練、行駛控制方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

目標(biāo)檢測是計(jì)算機(jī)視覺的核心任務(wù)之一，在自動駕駛、移動機(jī)器人等領(lǐng)域內(nèi)被廣泛應(yīng)用。目標(biāo)檢測的主要任務(wù)是從圖像中定位感興趣的目標(biāo)，并確定每個(gè)目標(biāo)的類別和邊界框。由于三維場景中目標(biāo)的深度信息的確定較為困難，使得目標(biāo)檢測在三維場景中的應(yīng)用效果不佳。比如，在自動駕駛領(lǐng)域內(nèi)，要實(shí)現(xiàn)自動駕駛車輛在道路上平穩(wěn)安全地行駛，必須由自動駕駛車輛確定周圍每個(gè)對象的精確三維信息。

因此，提出一種能夠較準(zhǔn)確的確定目標(biāo)的三維檢測結(jié)果的方法越來越重要。

發(fā)明內(nèi)容

有鑒于此，本公開至少提供一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練、行駛控制方法、裝置、電子設(shè)備及存儲介質(zhì)。

第一方面，本公開提供了一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，包括：

獲取訓(xùn)練樣本；

基于所述訓(xùn)練樣本中待檢測對象的二維標(biāo)注框的尺度，確定所述二維標(biāo)注框內(nèi)每個(gè)像素點(diǎn)匹配的目標(biāo)神經(jīng)網(wǎng)絡(luò)中的子網(wǎng)絡(luò)結(jié)構(gòu)；其中，不同子網(wǎng)絡(luò)結(jié)構(gòu)用于對所述訓(xùn)練樣本中不同尺度的所述二維標(biāo)注框內(nèi)的像素點(diǎn)進(jìn)行特征提取；

確定所述訓(xùn)練樣本中所述二維標(biāo)注框內(nèi)的至少一個(gè)像素點(diǎn)對應(yīng)的、所述待檢測對象的三維標(biāo)注數(shù)據(jù)；

基于各個(gè)所述子網(wǎng)絡(luò)結(jié)構(gòu)分別對應(yīng)的、具有所述三維標(biāo)注數(shù)據(jù)的至少一個(gè)像素點(diǎn)，訓(xùn)練所述目標(biāo)神經(jīng)網(wǎng)絡(luò)中的每個(gè)所述子網(wǎng)絡(luò)結(jié)構(gòu)，得到訓(xùn)練后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

上述方法中，通過確定二維標(biāo)注框內(nèi)每個(gè)像素點(diǎn)匹配的目標(biāo)神經(jīng)網(wǎng)絡(luò)中的子網(wǎng)絡(luò)結(jié)構(gòu)，使用不同尺度的二維標(biāo)注框內(nèi)的像素點(diǎn)，對對應(yīng)的子網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，使得訓(xùn)練后的不同子網(wǎng)絡(luò)結(jié)構(gòu)可以對待檢測圖像中不同尺度的目標(biāo)對象進(jìn)行特征提取和三維目標(biāo)檢測，由于多個(gè)不同子網(wǎng)絡(luò)結(jié)構(gòu)可以進(jìn)行較為密集的多層級特征提取和預(yù)測，使得利用訓(xùn)練樣本對目標(biāo)神經(jīng)網(wǎng)絡(luò)的每個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練后，可以得到性能較好的用于進(jìn)行三維目標(biāo)檢測的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

一種可能的實(shí)施方式中，所述基于所述訓(xùn)練樣本中待檢測對象的二維標(biāo)注框的尺度，確定所述二維標(biāo)注框內(nèi)每個(gè)像素點(diǎn)匹配的子網(wǎng)絡(luò)結(jié)構(gòu)，包括：

針對所述二維標(biāo)注框內(nèi)的每個(gè)像素點(diǎn)，基于所述二維標(biāo)注框的尺度，確定所述像素點(diǎn)與所述二維標(biāo)注框的每條邊之間的最長第一距離；

基于所述最長第一距離、和每個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)對應(yīng)的預(yù)設(shè)的距離范圍，確定與所述像素點(diǎn)匹配的子網(wǎng)絡(luò)結(jié)構(gòu)。

采用上述方法，可以針對二維標(biāo)準(zhǔn)框內(nèi)每個(gè)像素點(diǎn)，基于二維標(biāo)注框的尺度，確定像素點(diǎn)與二維標(biāo)注框的每條邊之間的最長第一距離，利用最長第一距離，為該像素點(diǎn)確定匹配的子網(wǎng)絡(luò)結(jié)構(gòu)，將具有不同的最長第一距離的像素點(diǎn)，匹配不同的子網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)像素級別的匹配，以便在利用子網(wǎng)絡(luò)結(jié)構(gòu)對應(yīng)的多個(gè)像素點(diǎn)對子網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練后，訓(xùn)練后的不同子網(wǎng)絡(luò)結(jié)構(gòu)可以對待檢測圖像中不同尺度的目標(biāo)對象進(jìn)行特征提取和三維目標(biāo)檢測。

一種可能的實(shí)施方式中，所述確定所述訓(xùn)練樣本中所述二維標(biāo)注框內(nèi)的至少一個(gè)像素點(diǎn)對應(yīng)的、所述待檢測對象的三維標(biāo)注數(shù)據(jù)，包括：

基于與所述二維標(biāo)注框內(nèi)像素點(diǎn)分別匹配的所述子網(wǎng)絡(luò)結(jié)構(gòu)，確定所述訓(xùn)練樣本中所述二維標(biāo)注框內(nèi)屬于前景點(diǎn)的目標(biāo)像素點(diǎn)；