[發明專利]神經網絡的訓練方法、圖像處理方法及裝置

在審

• 申請號: 202010278429.2
• 申請日: 2020-04-10
• 公開（公告）號: CN111489365A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 周千寓;程光亮;石建萍;馬利莊
• 申請（專利權）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04;G06N3/08;G06T5/00
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

本公開提供了一種神經網絡的訓練方法、圖像處理方法及裝置，其中，該訓練方法包括：利用學生網絡對目標圖像的第一噪聲圖像進行語義分割處理，得到第一語義分割圖像；利用教師網絡對目標圖像的第二噪聲圖像進行語義分割處理，得到第二語義分割圖像；并基于第二語義分割圖像，確定第二語義分割圖像中各個像素點的可信度信息；基于第一語義分割圖像、第二語義分割圖像、以及可信度信息，更新學生網絡的參數值；基于更新的學生網絡的參數值，更新教師網絡的參數值。本公開實施例通過第一語義分割圖像、第二語義分割圖像和可信度信息控制學生網絡和教師網絡學習目標圖像中的特定特征，避免學生網絡和教師網絡在遷移學習中的負遷移。

技術領域

本公開涉及圖像處理技術領域，具體而言，涉及一種神經網絡的訓練方法、圖像處理方法及裝置。

背景技術

圖像分割是指為給定圖像的每個像素分配語義標簽的任務；在對語義分割模型的有監督訓練或半監督訓練過程中，首先需要對大量樣本圖像逐像素進行標簽標注；然后基于標注后的樣本訓練語義分割模型。但由于對大量樣本圖像逐像素進行標簽標注的過程需要耗費大量的時間以及成本；為了解決該問題，當前一般采用仿真合成樣本圖像的方式來構建樣本數據集；但是由于合成圖像和真實圖像之間存在一定的差異，這個差異導致了基于合成圖像訓練得到的語義分割網絡在對真實圖像進行語義分割處理時，會有性能的顯著下降。

發明內容

本公開實施例至少提供一種神經網絡的訓練方法、圖像處理方法及裝置。

第一方面，本公開實施例提供了一種神經網絡的訓練方法，包括：利用學生網絡對目標圖像的第一噪聲圖像進行語義分割處理，得到第一語義分割圖像；利用教師網絡對所述目標圖像的第二噪聲圖像進行語義分割處理，得到第二語義分割圖像；并基于所述第二語義分割圖像，確定所述第二語義分割圖像中各個像素點的可信度信息；基于所述第一語義分割圖像、所述第二語義分割圖像、以及所述可信度信息，更新所述學生網絡的參數值；基于更新的所述學生網絡的參數值，更新所述教師網絡的參數值。

這里通過第一語義分割圖像、第二語義分割圖像、以及可信度信息，控制學生網絡和教師網絡對相同目標圖像進行擾動后的預測產生一致的預測結果，使得學生網絡能夠在基于目標圖像進行遷移的過程中，學習到目標圖像中的特定特征，也即，使得學生網絡向著特定方向進行遷移學習，且由于教師網絡的參數值是根據學生網絡的參數值進行更新，因而教師網絡的也隨之向著特定方向進行遷移學習，以避免負遷移的問題產生。

一種可能的實施方式中，所述方法還包括：利用學生網絡對源圖像的風格遷移圖像進行語義分割處理，得到第三語義分割圖像，所述源圖像的風格遷移圖像為將所述源圖像的風格向所述目標圖像所在的目標域進行遷移所獲得的圖像；所述基于所述第一語義分割圖像、所述第二語義分割圖像、以及所述可信度信息，更新所述學生網絡的參數值，包括：基于所述第一語義分割圖像、所述第二語義分割圖像、所述可信度信息、所述第三語義分割圖像、以及所述源圖像的標注信息，更新所述學生網絡的參數值。

這樣，通過利用學生網絡對源圖像的風格遷移圖像進行語義分割處理，得到第三語義分割圖像，然后基于第一語義分割圖像、第二語義分割圖像、可信度信息、第三語義分割圖像、以及源圖像的標注信息監督學生網絡的參數值更新過程，從而能夠進一步提升學生網絡和教師網絡的語義分割精度。

一種可能的實施方式中，所述基于所述第一語義分割圖像、所述第二語義分割圖像、所述可信度信息、所述第三語義分割圖像、以及所述源圖像的標注信息，更新所述學生網絡的參數值，包括：基于所述第一語義分割圖像、所述第二語義分割圖像以及所述可信度信息，確定一致性損失；基于當前的迭代次數，確定所述一致性損失的權重；基于所述第三語義分割圖像、和所述源圖像的標注信息確定語義分割損失；基于所述一致性損失、所述權重、以及所述語義分割損失，更新所述學生網絡的參數值。