[發(fā)明專利]一體化解碼器、多任務(wù)網(wǎng)絡(luò)模型及訓(xùn)練方法

在審

• 申請?zhí)枺?/td>: 202011281889.7
• 申請日: 2020-11-17
• 公開（公告）號: CN114519422A
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計）人: 元潤一;樂國慶;蘇帥;徐大鵬
• 申請（專利權(quán)）人: 北京華航無線電測量研究所
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08;G06V20/58;G06V10/26;G06V10/80;G06V10/82
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種應(yīng)用于車載視覺系統(tǒng)的一體化解碼器、多任務(wù)網(wǎng)絡(luò)模型及訓(xùn)練方法，一體化解碼器由二級單元級聯(lián)組成拓?fù)浣Y(jié)構(gòu)，將基礎(chǔ)網(wǎng)絡(luò)輸出的多尺度特征信息轉(zhuǎn)化為單一尺度特征信息表征；多任務(wù)網(wǎng)絡(luò)模型包括基礎(chǔ)網(wǎng)絡(luò)、一體化解碼器、目標(biāo)檢測任務(wù)頭和場景分割任務(wù)頭；采用多任務(wù)損失函數(shù)均衡收斂方式，使用權(quán)重參數(shù)的經(jīng)驗值來保證模型在反向傳播中對多任務(wù)均衡學(xué)習(xí)。本發(fā)明提高了目標(biāo)檢測和場景分割算法的精度和穩(wěn)定性，而且在不降低算法精度的前提下提升算法實時性。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)視覺技術(shù)領(lǐng)域，具體涉及目標(biāo)檢測與語義分割一體化網(wǎng)絡(luò)模型。

背景技術(shù)

目前，對于先進(jìn)輔助駕駛系統(tǒng)(ADAS)，投資成本相對較少的方向就是計算機(jī)視覺，其目的就是通過視覺來獲取車輛前方的各類目標(biāo)信息以及車道線位置信息，進(jìn)而給予駕駛員前車碰撞預(yù)警和航線偏離預(yù)警，保護(hù)駕駛員生命安全。針對中國的復(fù)雜交通環(huán)境，例如在行駛過程中對前車目標(biāo)的行駛規(guī)避以及本車變道時轉(zhuǎn)向、急停，都是建立ADAS需要的且必不可少的信息，是減少事故發(fā)生率的有效方案。

近年來，基于深度學(xué)習(xí)的目標(biāo)檢測和場景分割算法，并且都具有較高的檢測精度與實時性，例如EfficientDet、CenterNet、DeepLab 等。目前的一體化網(wǎng)絡(luò)設(shè)計使用的是基于yolo的檢測框架的基礎(chǔ)之上添加基于deeplab的分割任務(wù)頭完成的，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,這就導(dǎo)致每個任務(wù)頭都有自己的解碼器，但是由于車載環(huán)境的復(fù)雜性，包括：車載環(huán)境下因行駛震動產(chǎn)生畫面整體畸變、光照變化劇烈、目標(biāo)檢測框尺度不均一，車道線因磨損而不完整，這些問題都會對現(xiàn)有目標(biāo)檢測和場景分割算法的精度產(chǎn)生一些影響。

另外，對于ADAS，目標(biāo)檢測算法的檢測框下邊緣穩(wěn)定性、變道時車道線交替穩(wěn)定性以及一體化算法的實時性都是至關(guān)重要的影響因素。檢測下邊緣抖動穩(wěn)定性會影響基于視覺的測距精度，進(jìn)而影響 ADAS前車碰撞預(yù)警的準(zhǔn)確性，變道時車道線交替穩(wěn)定性會影響基于視覺的航線位置偏離精度，進(jìn)而影響ADAS航線偏離預(yù)警。一體化算法的實時性直接影響整個ADAS系統(tǒng)預(yù)警的延時性。

發(fā)明內(nèi)容

鑒于上述問題的分析，本發(fā)明旨在提供一種應(yīng)用于車載視覺系統(tǒng)的一體化解碼器、多任務(wù)網(wǎng)絡(luò)模型及訓(xùn)練方法，提高目標(biāo)檢測和場景分割算法的精度、穩(wěn)定性和實時性。

本發(fā)明主要是通過以下技術(shù)方案實現(xiàn)的：

本發(fā)明提供的一體化解碼器,由二級單元級聯(lián)組成拓?fù)浣Y(jié)構(gòu)，將基礎(chǔ)網(wǎng)絡(luò)輸出的多尺度特征信息轉(zhuǎn)化為單一尺度特征信息表征；

所述二級單元由稀疏化卷積層、上采樣反卷積層、信息融合通道堆疊層和二次稀疏化卷積層串聯(lián)構(gòu)成，所述二級單元的輸入為高分辨率特征圖和低分辨率特征圖，二級單元的輸出與輸入的高分辨率特征圖的尺寸保持一致。

進(jìn)一步地，所述一體化解碼器由兩部分網(wǎng)絡(luò)結(jié)構(gòu)組成，第一部分網(wǎng)絡(luò)結(jié)構(gòu)包括三個二級單元，基于基礎(chǔ)網(wǎng)絡(luò)輸出的32、16、8下采樣特征圖獲得下采樣為16、8、4的融合特征圖，第二部分網(wǎng)絡(luò)結(jié)構(gòu)包括兩個二級單元，基于第一部分網(wǎng)絡(luò)結(jié)構(gòu)的輸出獲得下采樣為4的融合特征。

進(jìn)一步地，所述第一部分網(wǎng)絡(luò)結(jié)構(gòu)使用基礎(chǔ)網(wǎng)絡(luò)輸出的32下采樣特征圖與16下采樣特征圖首先進(jìn)入第一個二級單元輸出16下采樣融合特征圖，然后使用16下采樣融合特征圖與基礎(chǔ)網(wǎng)絡(luò)輸出的8下采樣特征圖進(jìn)入第二個二級單元輸出8下采樣融合特征圖，使用8下采樣融合特征圖與基礎(chǔ)網(wǎng)絡(luò)輸出的4下采樣特征圖進(jìn)入第三個二級單元輸出4下采樣融合特征圖；

所述第二部分網(wǎng)絡(luò)結(jié)構(gòu)對兩個二級單元采用與第一部分網(wǎng)絡(luò)結(jié)構(gòu)相同的級聯(lián)方式，將所述第一部分網(wǎng)絡(luò)結(jié)構(gòu)得到的下采樣為16、8、 4的融合特征圖下采樣為4的融合特征。

作為本發(fā)明的另一方面，提供了基于所述一體化解碼器的多任務(wù)網(wǎng)絡(luò)模型，包括基礎(chǔ)網(wǎng)絡(luò)、一體化解碼器、目標(biāo)檢測任務(wù)頭和場景分割任務(wù)頭；