[發(fā)明專利]用于圖像分割的生成對抗網(wǎng)絡(luò)

在審

• 申請?zhí)枺?/td>: 201980046342.8
• 申請日: 2019-06-07
• 公開（公告）號: CN112384948A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: M·霍夫曼;N·巴卡;C·努古特倫;M·加富里安;O·博伊
• 申請（專利權(quán)）人: 通騰全球信息公司
• 主分類號: G06T7/11
• 分類號: G06T7/11
• 代理公司: 北京律盟知識產(chǎn)權(quán)代理有限責(zé)任公司 11287
• 代理人: 蔣林清

1.一種訓(xùn)練生成對抗網(wǎng)絡(luò)以用于執(zhí)行圖像的語義分割的方法，其中所述生成對抗網(wǎng)絡(luò)包括：

生成器神經(jīng)網(wǎng)絡(luò)；及

鑒別器神經(jīng)網(wǎng)絡(luò)，

所述方法包括：

提供圖像作為到所述生成器神經(jīng)網(wǎng)絡(luò)的輸入；

從所述生成器神經(jīng)網(wǎng)絡(luò)接收針對所述圖像的預(yù)測分割圖；

提供i)所述圖像，ii)所述預(yù)測分割圖，及iii)對應(yīng)于所述圖像的地面實(shí)況標(biāo)簽數(shù)據(jù)，作為到所述鑒別器神經(jīng)網(wǎng)絡(luò)的相異訓(xùn)練輸入；

響應(yīng)于所述訓(xùn)練輸入，確定來自所述鑒別器神經(jīng)網(wǎng)絡(luò)的一組一或多個輸出；及

使用損失函數(shù)訓(xùn)練所述生成器神經(jīng)網(wǎng)絡(luò)，所述損失函數(shù)是來自所述鑒別器神經(jīng)網(wǎng)絡(luò)的所述一組輸出的函數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其中來自所述鑒別器神經(jīng)網(wǎng)絡(luò)的所述一或多個輸出包括從所述鑒別器神經(jīng)網(wǎng)絡(luò)內(nèi)的一或多個預(yù)定層獲取的一或多個嵌入輸出。

3.根據(jù)權(quán)利要求1或2所述的方法，其中所述損失函數(shù)包括表示以下兩者之間的差的嵌入項(xiàng)：i)當(dāng)所述預(yù)測分割圖輸入到所述鑒別器神經(jīng)網(wǎng)絡(luò)時，在所述鑒別器神經(jīng)網(wǎng)絡(luò)的預(yù)定層處的嵌入；及ii)當(dāng)所述地面實(shí)況標(biāo)簽數(shù)據(jù)輸入到所述鑒別器神經(jīng)網(wǎng)絡(luò)時，在所述鑒別器神經(jīng)網(wǎng)絡(luò)的所述預(yù)定層處的嵌入，所述差任選地為L₂距離。

4.根據(jù)權(quán)利要求3所述的方法，其中所述預(yù)定層緊接在第一稠密塊之后，所述第一稠密塊含有具有所述圖像及所述預(yù)測分割圖兩者的一或多個共享卷積層。

5.根據(jù)權(quán)利要求3所述的方法，其中所述預(yù)定層在所述鑒別器神經(jīng)網(wǎng)絡(luò)的分類器之前緊接在最終稠密塊之后。

6.根據(jù)權(quán)利要求3到5中任一權(quán)利要求所述的方法，其中所述損失函數(shù)額外地包括像素級適應(yīng)度項(xiàng)，且其中所述損失函數(shù)包括用于相對于所述適應(yīng)度項(xiàng)對所述嵌入項(xiàng)進(jìn)行加權(quán)的加權(quán)參數(shù)λ。

7.根據(jù)權(quán)利要求1到4中任一權(quán)利要求所述的方法，其進(jìn)一步包括訓(xùn)練所述鑒別器神經(jīng)網(wǎng)絡(luò)，以最小化關(guān)于在預(yù)測分割圖與地面實(shí)況標(biāo)簽數(shù)據(jù)之間區(qū)分所述鑒別器神經(jīng)網(wǎng)絡(luò)的損失。

8.一種計(jì)算機(jī)處理系統(tǒng)，所述系統(tǒng)優(yōu)選地安裝在交通工具中，其實(shí)施生成對抗網(wǎng)絡(luò)以用于執(zhí)行圖像的語義分割，其中所述生成對抗網(wǎng)絡(luò)包括：

生成器神經(jīng)網(wǎng)絡(luò)；

鑒別器神經(jīng)網(wǎng)絡(luò)；及

訓(xùn)練邏輯，

且其中所述訓(xùn)練邏輯經(jīng)配置以：

提供圖像作為到所述生成器神經(jīng)網(wǎng)絡(luò)的輸入；

從所述生成器神經(jīng)網(wǎng)絡(luò)接收針對所述圖像的預(yù)測分割圖；

提供i)所述圖像，ii)所述預(yù)測分割圖，及iii)對應(yīng)于所述圖像的地面實(shí)況標(biāo)簽數(shù)據(jù)，作為到所述鑒別器神經(jīng)網(wǎng)絡(luò)的相異訓(xùn)練輸入；

響應(yīng)于所述訓(xùn)練輸入，確定來自所述鑒別器神經(jīng)網(wǎng)絡(luò)的一組一或多個輸出；及

使用損失函數(shù)訓(xùn)練所述生成器神經(jīng)網(wǎng)絡(luò)，所述損失函數(shù)是來自所述鑒別器神經(jīng)網(wǎng)絡(luò)的所述一組輸出的函數(shù)。

9.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)處理系統(tǒng)，其中來自所述鑒別器神經(jīng)網(wǎng)絡(luò)的所述一或多個輸出包括從所述鑒別器神經(jīng)網(wǎng)絡(luò)內(nèi)的一或多個預(yù)定層獲取的一或多個嵌入輸出。

10.根據(jù)權(quán)利要求8或9所述的計(jì)算機(jī)處理系統(tǒng)，其中所述損失函數(shù)包括表示以下兩者之間的差的嵌入項(xiàng)：i)當(dāng)所述預(yù)測分割圖輸入到所述鑒別器神經(jīng)網(wǎng)絡(luò)時，在所述鑒別器神經(jīng)網(wǎng)絡(luò)的預(yù)定層處的嵌入；及ii)當(dāng)所述地面實(shí)況標(biāo)簽數(shù)據(jù)輸入到所述鑒別器神經(jīng)網(wǎng)絡(luò)時，在所述鑒別器神經(jīng)網(wǎng)絡(luò)的所述預(yù)定層處的嵌入，所述差任選地為L₂距離。

11.根據(jù)權(quán)利要求10所述的計(jì)算機(jī)處理系統(tǒng)，其中所述預(yù)定層緊接在第一稠密塊之后，所述第一稠密塊含有具有所述圖像及所述預(yù)測分割圖兩者的一或多個共享卷積層。

12.根據(jù)權(quán)利要求10所述的計(jì)算機(jī)處理系統(tǒng)，其中所述預(yù)定層在所述鑒別器神經(jīng)網(wǎng)絡(luò)的分類器之前緊接在最終稠密塊之后。