[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法及裝置

在審

• 申請?zhí)枺?/td>: 202010278429.2
• 申請日: 2020-04-10
• 公開（公告）號: CN111489365A
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計）人: 周千寓;程光亮;石建萍;馬利莊
• 申請（專利權(quán)）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04;G06N3/08;G06T5/00
• 代理公司: 北京中知法苑知識產(chǎn)權(quán)代理有限公司 11226
• 代理人: 李明;趙吉陽

本公開提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法及裝置，其中，該訓(xùn)練方法包括：利用學(xué)生網(wǎng)絡(luò)對目標(biāo)圖像的第一噪聲圖像進行語義分割處理，得到第一語義分割圖像；利用教師網(wǎng)絡(luò)對目標(biāo)圖像的第二噪聲圖像進行語義分割處理，得到第二語義分割圖像；并基于第二語義分割圖像，確定第二語義分割圖像中各個像素點的可信度信息；基于第一語義分割圖像、第二語義分割圖像、以及可信度信息，更新學(xué)生網(wǎng)絡(luò)的參數(shù)值；基于更新的學(xué)生網(wǎng)絡(luò)的參數(shù)值，更新教師網(wǎng)絡(luò)的參數(shù)值。本公開實施例通過第一語義分割圖像、第二語義分割圖像和可信度信息控制學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)圖像中的特定特征，避免學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)在遷移學(xué)習(xí)中的負遷移。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法及裝置。

背景技術(shù)

圖像分割是指為給定圖像的每個像素分配語義標(biāo)簽的任務(wù)；在對語義分割模型的有監(jiān)督訓(xùn)練或半監(jiān)督訓(xùn)練過程中，首先需要對大量樣本圖像逐像素進行標(biāo)簽標(biāo)注；然后基于標(biāo)注后的樣本訓(xùn)練語義分割模型。但由于對大量樣本圖像逐像素進行標(biāo)簽標(biāo)注的過程需要耗費大量的時間以及成本；為了解決該問題，當(dāng)前一般采用仿真合成樣本圖像的方式來構(gòu)建樣本數(shù)據(jù)集；但是由于合成圖像和真實圖像之間存在一定的差異，這個差異導(dǎo)致了基于合成圖像訓(xùn)練得到的語義分割網(wǎng)絡(luò)在對真實圖像進行語義分割處理時，會有性能的顯著下降。

發(fā)明內(nèi)容

本公開實施例至少提供一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法及裝置。

第一方面，本公開實施例提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包括：利用學(xué)生網(wǎng)絡(luò)對目標(biāo)圖像的第一噪聲圖像進行語義分割處理，得到第一語義分割圖像；利用教師網(wǎng)絡(luò)對所述目標(biāo)圖像的第二噪聲圖像進行語義分割處理，得到第二語義分割圖像；并基于所述第二語義分割圖像，確定所述第二語義分割圖像中各個像素點的可信度信息；基于所述第一語義分割圖像、所述第二語義分割圖像、以及所述可信度信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值；基于更新的所述學(xué)生網(wǎng)絡(luò)的參數(shù)值，更新所述教師網(wǎng)絡(luò)的參數(shù)值。

這里通過第一語義分割圖像、第二語義分割圖像、以及可信度信息，控制學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)對相同目標(biāo)圖像進行擾動后的預(yù)測產(chǎn)生一致的預(yù)測結(jié)果，使得學(xué)生網(wǎng)絡(luò)能夠在基于目標(biāo)圖像進行遷移的過程中，學(xué)習(xí)到目標(biāo)圖像中的特定特征，也即，使得學(xué)生網(wǎng)絡(luò)向著特定方向進行遷移學(xué)習(xí)，且由于教師網(wǎng)絡(luò)的參數(shù)值是根據(jù)學(xué)生網(wǎng)絡(luò)的參數(shù)值進行更新，因而教師網(wǎng)絡(luò)的也隨之向著特定方向進行遷移學(xué)習(xí)，以避免負遷移的問題產(chǎn)生。

一種可能的實施方式中，所述方法還包括：利用學(xué)生網(wǎng)絡(luò)對源圖像的風(fēng)格遷移圖像進行語義分割處理，得到第三語義分割圖像，所述源圖像的風(fēng)格遷移圖像為將所述源圖像的風(fēng)格向所述目標(biāo)圖像所在的目標(biāo)域進行遷移所獲得的圖像；所述基于所述第一語義分割圖像、所述第二語義分割圖像、以及所述可信度信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值，包括：基于所述第一語義分割圖像、所述第二語義分割圖像、所述可信度信息、所述第三語義分割圖像、以及所述源圖像的標(biāo)注信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值。

這樣，通過利用學(xué)生網(wǎng)絡(luò)對源圖像的風(fēng)格遷移圖像進行語義分割處理，得到第三語義分割圖像，然后基于第一語義分割圖像、第二語義分割圖像、可信度信息、第三語義分割圖像、以及源圖像的標(biāo)注信息監(jiān)督學(xué)生網(wǎng)絡(luò)的參數(shù)值更新過程，從而能夠進一步提升學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)的語義分割精度。

一種可能的實施方式中，所述基于所述第一語義分割圖像、所述第二語義分割圖像、所述可信度信息、所述第三語義分割圖像、以及所述源圖像的標(biāo)注信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值，包括：基于所述第一語義分割圖像、所述第二語義分割圖像以及所述可信度信息，確定一致性損失；基于當(dāng)前的迭代次數(shù)，確定所述一致性損失的權(quán)重；基于所述第三語義分割圖像、和所述源圖像的標(biāo)注信息確定語義分割損失；基于所述一致性損失、所述權(quán)重、以及所述語義分割損失，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值。