[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010278429.2
• 申請(qǐng)日: 2020-04-10
• 公開（公告）號(hào): CN111489365A
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 周千寓;程光亮;石建萍;馬利莊
• 申請(qǐng)（專利權(quán)）人: 上海商湯臨港智能科技有限公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06K9/62;G06N3/04;G06N3/08;G06T5/00
• 代理公司: 北京中知法苑知識(shí)產(chǎn)權(quán)代理有限公司 11226
• 代理人: 李明;趙吉陽

本公開提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法及裝置，其中，該訓(xùn)練方法包括：利用學(xué)生網(wǎng)絡(luò)對(duì)目標(biāo)圖像的第一噪聲圖像進(jìn)行語義分割處理，得到第一語義分割圖像；利用教師網(wǎng)絡(luò)對(duì)目標(biāo)圖像的第二噪聲圖像進(jìn)行語義分割處理，得到第二語義分割圖像；并基于第二語義分割圖像，確定第二語義分割圖像中各個(gè)像素點(diǎn)的可信度信息；基于第一語義分割圖像、第二語義分割圖像、以及可信度信息，更新學(xué)生網(wǎng)絡(luò)的參數(shù)值；基于更新的學(xué)生網(wǎng)絡(luò)的參數(shù)值，更新教師網(wǎng)絡(luò)的參數(shù)值。本公開實(shí)施例通過第一語義分割圖像、第二語義分割圖像和可信度信息控制學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)圖像中的特定特征，避免學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)在遷移學(xué)習(xí)中的負(fù)遷移。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法及裝置。

背景技術(shù)

圖像分割是指為給定圖像的每個(gè)像素分配語義標(biāo)簽的任務(wù)；在對(duì)語義分割模型的有監(jiān)督訓(xùn)練或半監(jiān)督訓(xùn)練過程中，首先需要對(duì)大量樣本圖像逐像素進(jìn)行標(biāo)簽標(biāo)注；然后基于標(biāo)注后的樣本訓(xùn)練語義分割模型。但由于對(duì)大量樣本圖像逐像素進(jìn)行標(biāo)簽標(biāo)注的過程需要耗費(fèi)大量的時(shí)間以及成本；為了解決該問題，當(dāng)前一般采用仿真合成樣本圖像的方式來構(gòu)建樣本數(shù)據(jù)集；但是由于合成圖像和真實(shí)圖像之間存在一定的差異，這個(gè)差異導(dǎo)致了基于合成圖像訓(xùn)練得到的語義分割網(wǎng)絡(luò)在對(duì)真實(shí)圖像進(jìn)行語義分割處理時(shí)，會(huì)有性能的顯著下降。

發(fā)明內(nèi)容

本公開實(shí)施例至少提供一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法及裝置。

第一方面，本公開實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包括：利用學(xué)生網(wǎng)絡(luò)對(duì)目標(biāo)圖像的第一噪聲圖像進(jìn)行語義分割處理，得到第一語義分割圖像；利用教師網(wǎng)絡(luò)對(duì)所述目標(biāo)圖像的第二噪聲圖像進(jìn)行語義分割處理，得到第二語義分割圖像；并基于所述第二語義分割圖像，確定所述第二語義分割圖像中各個(gè)像素點(diǎn)的可信度信息；基于所述第一語義分割圖像、所述第二語義分割圖像、以及所述可信度信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值；基于更新的所述學(xué)生網(wǎng)絡(luò)的參數(shù)值，更新所述教師網(wǎng)絡(luò)的參數(shù)值。

這里通過第一語義分割圖像、第二語義分割圖像、以及可信度信息，控制學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)對(duì)相同目標(biāo)圖像進(jìn)行擾動(dòng)后的預(yù)測產(chǎn)生一致的預(yù)測結(jié)果，使得學(xué)生網(wǎng)絡(luò)能夠在基于目標(biāo)圖像進(jìn)行遷移的過程中，學(xué)習(xí)到目標(biāo)圖像中的特定特征，也即，使得學(xué)生網(wǎng)絡(luò)向著特定方向進(jìn)行遷移學(xué)習(xí)，且由于教師網(wǎng)絡(luò)的參數(shù)值是根據(jù)學(xué)生網(wǎng)絡(luò)的參數(shù)值進(jìn)行更新，因而教師網(wǎng)絡(luò)的也隨之向著特定方向進(jìn)行遷移學(xué)習(xí)，以避免負(fù)遷移的問題產(chǎn)生。

一種可能的實(shí)施方式中，所述方法還包括：利用學(xué)生網(wǎng)絡(luò)對(duì)源圖像的風(fēng)格遷移圖像進(jìn)行語義分割處理，得到第三語義分割圖像，所述源圖像的風(fēng)格遷移圖像為將所述源圖像的風(fēng)格向所述目標(biāo)圖像所在的目標(biāo)域進(jìn)行遷移所獲得的圖像；所述基于所述第一語義分割圖像、所述第二語義分割圖像、以及所述可信度信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值，包括：基于所述第一語義分割圖像、所述第二語義分割圖像、所述可信度信息、所述第三語義分割圖像、以及所述源圖像的標(biāo)注信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值。

這樣，通過利用學(xué)生網(wǎng)絡(luò)對(duì)源圖像的風(fēng)格遷移圖像進(jìn)行語義分割處理，得到第三語義分割圖像，然后基于第一語義分割圖像、第二語義分割圖像、可信度信息、第三語義分割圖像、以及源圖像的標(biāo)注信息監(jiān)督學(xué)生網(wǎng)絡(luò)的參數(shù)值更新過程，從而能夠進(jìn)一步提升學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)的語義分割精度。

一種可能的實(shí)施方式中，所述基于所述第一語義分割圖像、所述第二語義分割圖像、所述可信度信息、所述第三語義分割圖像、以及所述源圖像的標(biāo)注信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值，包括：基于所述第一語義分割圖像、所述第二語義分割圖像以及所述可信度信息，確定一致性損失；基于當(dāng)前的迭代次數(shù)，確定所述一致性損失的權(quán)重；基于所述第三語義分割圖像、和所述源圖像的標(biāo)注信息確定語義分割損失；基于所述一致性損失、所述權(quán)重、以及所述語義分割損失，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值。