[發(fā)明專利]一種自動駕駛場景語義分割方法、電子設(shè)備及可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111086495.0
• 申請日: 2021-09-16
• 公開（公告）號: CN113793341A
• 公開（公告）日: 2021-12-14
• 發(fā)明（設(shè)計）人: 周彥;袁指天;王冬麗;李云燕
• 申請（專利權(quán)）人: 湘潭大學(xué)
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙市融智專利事務(wù)所(普通合伙) 43114
• 代理人: 歐陽迪奇

本發(fā)明公開了一種自動駕駛場景語義分割方法、電子設(shè)備及可讀介質(zhì)。本發(fā)明通過細(xì)化知識蒸餾中教師網(wǎng)絡(luò)的高置信度知識，利用四個分支提取教師網(wǎng)絡(luò)中間層知識：兩個分支由兩個二維卷積層組成分別提取水平和垂直的空間結(jié)構(gòu)知識；第三個分支使用兩層空洞卷積獲取空間遠(yuǎn)程依賴知識；第四個分支使用多層感知器來提取教師網(wǎng)絡(luò)學(xué)習(xí)到的通道分布知識。將細(xì)化后的知識作為真樣本，學(xué)生網(wǎng)絡(luò)中間特征圖作為假樣本，進(jìn)行對抗訓(xùn)練。教師網(wǎng)絡(luò)高效轉(zhuǎn)移細(xì)化后的空間和通道知識給學(xué)生網(wǎng)絡(luò)，提高知識蒸餾后最終得到的學(xué)生網(wǎng)絡(luò)的模型性能。該模塊僅在訓(xùn)練過程中進(jìn)行優(yōu)化，在推理過程中不參與計算，因此不會增大學(xué)生模型的參數(shù)量。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)及機器視覺領(lǐng)域，具體涉及一種自動駕駛場景語義分割方法、電子設(shè)備及可讀介質(zhì)。

背景技術(shù)

在深度卷積神經(jīng)網(wǎng)絡(luò)(DNNs)的支持下，目標(biāo)檢測、語義分割等應(yīng)用程序目前正在以非凡的速度發(fā)展。引入更多的參數(shù)通常會提高模型的準(zhǔn)確性。語義分割是計算機視覺中的一項重要任務(wù)。目前，最先進(jìn)的語義分割方法通常需要大量的計算資源來實現(xiàn)精確的語義分割，盡管目前的DNNs的性能顯著提高，但是效率對于語義分割非常重要，巨大的內(nèi)存成本和這些深度網(wǎng)絡(luò)巨大的計算量使得很難將訓(xùn)練過的網(wǎng)絡(luò)在實時應(yīng)用中直接部署，如嵌入式系統(tǒng)和自動駕駛車輛。已經(jīng)出現(xiàn)了模型壓縮技術(shù)來解決這些問題，這些技術(shù)包括輕量級網(wǎng)絡(luò)設(shè)計、修剪、量化和知識蒸餾。在這些方法中，知識蒸餾已被證明是獲得輕量級模型的一種有效的方法，該技術(shù)通過遵循學(xué)生-教師范式簡化了深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，在該范式中，學(xué)生根據(jù)教師輸出的軟化版本受到懲罰。這些輕量級的模型保持了較高水準(zhǔn)的準(zhǔn)確性。知識蒸餾是一種很有吸引力的網(wǎng)絡(luò)壓縮方法，其靈感來自于知識從教師轉(zhuǎn)移到學(xué)生。它本質(zhì)上是一個緊湊的學(xué)生模型來近似于一個過度參數(shù)化的教師模型。因此，學(xué)生模型可以獲得顯著的表現(xiàn)改善，偶爾會超過教師。通過用緊湊的學(xué)生模型替換過度參數(shù)化的教師模型，可以實現(xiàn)高比例的模型的壓縮。例如文獻(xiàn)“FITNETS:HINTS FOR THIN DEEP NETS”使用的是對齊學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)特征映射的方法。文獻(xiàn)“PAYING MORE ATTENTION TO ATTENTION:IMPROVING THE PERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTIONTRANSFER”提出的方法迫使學(xué)生模型模仿強大的教師模型的注意力特征圖。文獻(xiàn)“Structured Knowledge Distillation for Dense Prediction”提出了點向蒸餾和局部成對蒸餾的策略，利用多種損失函數(shù)來優(yōu)化學(xué)生網(wǎng)絡(luò)。文獻(xiàn)“Intra-class FeatureVariation Distillation for Semantic Segmentation”認(rèn)為教師模型通常比學(xué)生模型學(xué)習(xí)更魯棒的類內(nèi)特征表示，因此提出學(xué)生模仿學(xué)生的特征分布的類內(nèi)特征變化，使學(xué)生更好地模仿教師并提高分割精度。