[發(fā)明專(zhuān)利]基于目標(biāo)總變差損失的語(yǔ)義分割

在審

• 申請(qǐng)?zhí)枺?/td>: 202180059399.9
• 申請(qǐng)日: 2021-07-28
• 公開(kāi)（公告）號(hào): CN116235181A
• 公開(kāi)（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 馬丁·伊萬(wàn)諾夫·格熱夫;埃赫桑·塔哈維;瑞安·拉扎尼;劉冰冰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司
• 主分類(lèi)號(hào): G06N3/02
• 分類(lèi)號(hào): G06N3/02
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種用于計(jì)算在訓(xùn)練對(duì)數(shù)據(jù)點(diǎn)進(jìn)行單獨(dú)分類(lèi)的神經(jīng)網(wǎng)絡(luò)期間用于反向傳播的總變差損失的方法，其特征在于，包括：

使用所述神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)一組輸入數(shù)據(jù)點(diǎn)中的每個(gè)數(shù)據(jù)點(diǎn)的相應(yīng)標(biāo)簽；

確定指示以下之間的方差的變差指示符：(i)相鄰數(shù)據(jù)點(diǎn)之間的預(yù)測(cè)標(biāo)簽的平滑度和(ii)相同的相鄰數(shù)據(jù)點(diǎn)之間的地面真值標(biāo)簽的平滑度；

基于所述變差指示符計(jì)算總變差損失。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定相鄰數(shù)據(jù)點(diǎn)之間的所述預(yù)測(cè)標(biāo)簽的所述平滑度包括確定所述相鄰數(shù)據(jù)點(diǎn)之間的所述預(yù)測(cè)標(biāo)簽中的差，確定相鄰數(shù)據(jù)點(diǎn)之間的所述地面真值標(biāo)簽的所述平滑度包括確定所述相鄰數(shù)據(jù)點(diǎn)之間的所述地面真值標(biāo)簽中的差。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，確定所述變差指示符包括確定相鄰數(shù)據(jù)點(diǎn)之間的所述預(yù)測(cè)標(biāo)簽的所述平滑度與所述相同的相鄰數(shù)據(jù)點(diǎn)之間的所述地面真值標(biāo)簽的所述平滑度之間的差的范數(shù)。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所述數(shù)據(jù)點(diǎn)是圖像像素，相鄰數(shù)據(jù)點(diǎn)由定義的像素距離定義。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其特征在于，所述數(shù)據(jù)點(diǎn)是點(diǎn)云的點(diǎn)云數(shù)據(jù)點(diǎn)，相鄰數(shù)據(jù)點(diǎn)由最近鄰識(shí)別算法定義。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其特征在于，將所述總變差損失并入所述神經(jīng)網(wǎng)絡(luò)的總損失函數(shù)中以生成所述神經(jīng)網(wǎng)絡(luò)的總損失，所述方法還包括確定所述神經(jīng)網(wǎng)絡(luò)的多個(gè)參數(shù)的更新值，作為所述神經(jīng)網(wǎng)絡(luò)的梯度下降訓(xùn)練的一部分。

7.一種用于訓(xùn)練執(zhí)行語(yǔ)義分割的神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，包括：

使用所述神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)一組輸入數(shù)據(jù)點(diǎn)中的每個(gè)數(shù)據(jù)點(diǎn)的相應(yīng)標(biāo)簽；

針對(duì)每個(gè)數(shù)據(jù)點(diǎn)，確定：(i)所述數(shù)據(jù)點(diǎn)的預(yù)測(cè)標(biāo)簽與所述數(shù)據(jù)點(diǎn)的至少一個(gè)相鄰數(shù)據(jù)點(diǎn)的預(yù)測(cè)標(biāo)簽之間的預(yù)測(cè)標(biāo)簽差值；(ii)所述數(shù)據(jù)點(diǎn)的地面真值標(biāo)簽與所述數(shù)據(jù)點(diǎn)的所述至少一個(gè)相鄰數(shù)據(jù)點(diǎn)的地面真值標(biāo)簽之間的地面真值標(biāo)簽差值；

針對(duì)每個(gè)數(shù)據(jù)點(diǎn)，確定所述預(yù)測(cè)標(biāo)簽差值與所述地面真值標(biāo)簽差值之間的差的范數(shù)；

基于所述范數(shù)的和計(jì)算所述一組輸入數(shù)據(jù)點(diǎn)的總變差損失；

執(zhí)行反向傳播以至少基于所述總變差損失更新所述神經(jīng)網(wǎng)絡(luò)的一組參數(shù)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于：

確定所述預(yù)測(cè)標(biāo)簽差值包括：對(duì)于所有所述數(shù)據(jù)點(diǎn)(i,j)以及值Δi和Δj，其中，(i,j)為數(shù)據(jù)點(diǎn)索引，Δi、Δj為所述數(shù)據(jù)點(diǎn)索引中的相應(yīng)步長(zhǎng)值，計(jì)算y_{{(i+Δi),(j)}}-y_{i,j}的絕對(duì)值，其中，y_{i,j}為包含在張量變量Y_{(Δi),(j)}的對(duì)應(yīng)位置中的數(shù)據(jù)點(diǎn)(i,j)的所述預(yù)測(cè)標(biāo)簽，計(jì)算包含在張量變量Y_{(Δi),(j)}的對(duì)應(yīng)位置中的y_{{(i),(j+Δj)}}-y_{i,j}的所述絕對(duì)值；

確定所述地面真值標(biāo)簽差值包括：對(duì)于所有所述數(shù)據(jù)點(diǎn)(i,j)以及值Δi和Δj，計(jì)算的所述絕對(duì)值，其中，為包含在張量變量的對(duì)應(yīng)位置中的數(shù)據(jù)點(diǎn)(i,j)的所述地面真值標(biāo)簽，計(jì)算包含在張量變量的對(duì)應(yīng)位置中的的所述絕對(duì)值；

確定差指示符的所述范數(shù)包括：針對(duì)所有對(duì)(Δi),(j)計(jì)算Y_{(Δi),(j)}和的第一p,q范數(shù)，針對(duì)所有對(duì)(i),(Δj)計(jì)算Y_{(i),(Δj)}和的p,q范數(shù)。

9.根據(jù)權(quán)利要求7或8所述的方法，其特征在于，所述一組輸入數(shù)據(jù)點(diǎn)包括圖像。

10.根據(jù)權(quán)利要求7或8所述的方法，其特征在于，所述一組輸入數(shù)據(jù)點(diǎn)包括點(diǎn)云的數(shù)據(jù)點(diǎn)。