[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010278429.2
• 申請(qǐng)日: 2020-04-10
• 公開(kāi)（公告）號(hào): CN111489365A
• 公開(kāi)（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 周千寓;程光亮;石建萍;馬利莊
• 申請(qǐng)（專利權(quán)）人: 上海商湯臨港智能科技有限公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06K9/62;G06N3/04;G06N3/08;G06T5/00
• 代理公司: 北京中知法苑知識(shí)產(chǎn)權(quán)代理有限公司 11226
• 代理人: 李明;趙吉陽(yáng)

1.一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，包括：

利用學(xué)生網(wǎng)絡(luò)對(duì)目標(biāo)圖像的第一噪聲圖像進(jìn)行語(yǔ)義分割處理，得到第一語(yǔ)義分割圖像；

利用教師網(wǎng)絡(luò)對(duì)所述目標(biāo)圖像的第二噪聲圖像進(jìn)行語(yǔ)義分割處理，得到第二語(yǔ)義分割圖像；并基于所述第二語(yǔ)義分割圖像，確定所述第二語(yǔ)義分割圖像中各個(gè)像素點(diǎn)的可信度信息；

基于所述第一語(yǔ)義分割圖像、所述第二語(yǔ)義分割圖像、以及所述可信度信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值；

基于更新的所述學(xué)生網(wǎng)絡(luò)的參數(shù)值，更新所述教師網(wǎng)絡(luò)的參數(shù)值。

2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述方法還包括：

利用學(xué)生網(wǎng)絡(luò)對(duì)源圖像的風(fēng)格遷移圖像進(jìn)行語(yǔ)義分割處理，得到第三語(yǔ)義分割圖像，所述源圖像的風(fēng)格遷移圖像為將所述源圖像的風(fēng)格向所述目標(biāo)圖像所在的目標(biāo)域進(jìn)行遷移所獲得的圖像；

所述基于所述第一語(yǔ)義分割圖像、所述第二語(yǔ)義分割圖像、以及所述可信度信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值，包括：

基于所述第一語(yǔ)義分割圖像、所述第二語(yǔ)義分割圖像、所述可信度信息、所述第三語(yǔ)義分割圖像、以及所述源圖像的標(biāo)注信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值。

3.根據(jù)權(quán)利要求2所述的訓(xùn)練方法，其特征在于，所述基于所述第一語(yǔ)義分割圖像、所述第二語(yǔ)義分割圖像、所述可信度信息、所述第三語(yǔ)義分割圖像、以及所述源圖像的標(biāo)注信息，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值，包括：

基于所述第一語(yǔ)義分割圖像、所述第二語(yǔ)義分割圖像以及所述可信度信息，確定一致性損失；基于當(dāng)前的迭代次數(shù)，確定所述一致性損失的權(quán)重；

基于所述第三語(yǔ)義分割圖像、和所述源圖像的標(biāo)注信息確定語(yǔ)義分割損失；

基于所述一致性損失、所述權(quán)重、以及所述語(yǔ)義分割損失，更新所述學(xué)生網(wǎng)絡(luò)的參數(shù)值。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的訓(xùn)練方法，其特征在于，利用教師網(wǎng)絡(luò)對(duì)所述目標(biāo)圖像的第二噪聲圖像進(jìn)行語(yǔ)義分割處理，得到第二語(yǔ)義分割圖像，包括：

利用教師網(wǎng)絡(luò)對(duì)所述目標(biāo)圖像的多張第二噪聲圖像分別進(jìn)行語(yǔ)義分割處理，得到多張中間語(yǔ)義分割圖像；

基于所述多張中間語(yǔ)義分割圖像，生成所述第二語(yǔ)義分割圖像。

5.根據(jù)權(quán)利要求4所述的訓(xùn)練方法，其特征在于，所述基于所述多個(gè)中間語(yǔ)義分割圖像，生成所述第二語(yǔ)義分割圖像，包括：

依次對(duì)多張所述中間語(yǔ)義分割圖像中對(duì)應(yīng)位置的像素點(diǎn)求像素值均值；

將任一對(duì)應(yīng)位置的像素點(diǎn)均值，確定為所述第二語(yǔ)義分割圖像中對(duì)應(yīng)位置的像素點(diǎn)的像素值。

6.根據(jù)權(quán)利要求1-5任一所述的訓(xùn)練方法，其特征在于，所述基于所述第二語(yǔ)義分割圖像，確定所述第二語(yǔ)義分割圖像中各個(gè)像素點(diǎn)的可信度信息，包括：

基于所述第二語(yǔ)義分割圖像中各個(gè)像素點(diǎn)的像素值，確定所述第二語(yǔ)義分割圖像中每個(gè)像素點(diǎn)的信息熵；

基于所述第二語(yǔ)義分割圖像中每個(gè)像素點(diǎn)的信息熵，以及預(yù)先確定的信息熵閾值，確定第二語(yǔ)義分割圖像中每個(gè)像素點(diǎn)的可信度信息。

7.根據(jù)權(quán)利要求6所述的訓(xùn)練方法，其特征在于，所述基于所述第二語(yǔ)義分割圖像中每個(gè)像素點(diǎn)的信息熵，以及預(yù)先確定的信息熵閾值，確定第二語(yǔ)義分割圖像中每個(gè)像素點(diǎn)的可信度信息，包括：

將所述第二語(yǔ)義分割圖像中每個(gè)像素點(diǎn)的信息熵與所述信息熵閾值進(jìn)行比對(duì)；

基于比對(duì)結(jié)果，確定所述第二語(yǔ)義分割圖像中每個(gè)像素點(diǎn)的可信度信息；

其中，若第二語(yǔ)義分割圖像中任一像素點(diǎn)的信息熵的絕對(duì)值大于所述信息熵閾值，將與所述任一像素點(diǎn)對(duì)應(yīng)的可信度信息置為表征該任一像素點(diǎn)的像素值可信的預(yù)設(shè)值，其中所述預(yù)設(shè)值大于0。

8.根據(jù)權(quán)利要求6或7所述的訓(xùn)練方法，其特征在于，采用下述方式生成所述信息熵閾值：

基于所述教師網(wǎng)絡(luò)的語(yǔ)義分割種類，確定所述信息熵閾值。