[發(fā)明專利]語(yǔ)義分割模型的訓(xùn)練方法和裝置、電子設(shè)備、存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710648545.7
• 申請(qǐng)日: 2017-08-01
• 公開（公告）號(hào): CN108229479B
• 公開（公告）日: 2019-12-31
• 發(fā)明（設(shè)計(jì)）人: 詹曉航;劉子緯;羅平;呂健勤;湯曉鷗
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 11657 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 毛麗琴

本發(fā)明實(shí)施例公開了一種語(yǔ)義分割模型的訓(xùn)練方法和裝置、電子設(shè)備、存儲(chǔ)介質(zhì)，其中方法包括：通過(guò)語(yǔ)義分割模型，對(duì)各未標(biāo)注圖像進(jìn)行圖像語(yǔ)義分割，得到初步語(yǔ)義分割結(jié)果，作為所述未標(biāo)注圖像的類別；通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，基于各所述未標(biāo)注圖像的類別，及各已標(biāo)注圖像的類別，得到各圖像分別對(duì)應(yīng)的子圖像及子圖像對(duì)應(yīng)的特征，所述各圖像包括各所述未標(biāo)注圖像及各所述已標(biāo)注圖像，所述各子圖像攜帶有對(duì)應(yīng)圖像的類別；基于各子圖像的類別，及各子圖像之間的特征距離，訓(xùn)練語(yǔ)義分割模型。本發(fā)明上述實(shí)施例訓(xùn)練得到的語(yǔ)義分割模型，在語(yǔ)義分割上能獲得較高的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)，尤其是一種語(yǔ)義分割模型的訓(xùn)練方法和裝置、電子設(shè)備、存儲(chǔ)介質(zhì)。

背景技術(shù)

圖像語(yǔ)義分割通過(guò)對(duì)輸入圖像的每一個(gè)像素在輸出上都分配對(duì)應(yīng)的判斷標(biāo)注，標(biāo)明這個(gè)像素最可能是屬于一個(gè)什么物體或類別。是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要任務(wù)，其應(yīng)用包括機(jī)器場(chǎng)景理解、視頻分析等。

為了使圖像語(yǔ)義分割的結(jié)果更準(zhǔn)確，需要對(duì)圖像語(yǔ)義分割模型進(jìn)行訓(xùn)練。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例所要解決的一個(gè)技術(shù)問(wèn)題是：提供一種語(yǔ)義分割模型的訓(xùn)練技術(shù)。

本發(fā)明實(shí)施例提供的一種語(yǔ)義分割模型的訓(xùn)練方法，包括：

通過(guò)語(yǔ)義分割模型，對(duì)各未標(biāo)注圖像進(jìn)行圖像語(yǔ)義分割，得到初步語(yǔ)義分割結(jié)果，作為所述未標(biāo)注圖像的類別；

通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，基于各所述未標(biāo)注圖像的類別，及各已標(biāo)注圖像的類別，得到各圖像分別對(duì)應(yīng)的子圖像及子圖像對(duì)應(yīng)的特征，所述各圖像包括各所述未標(biāo)注圖像及各所述已標(biāo)注圖像，所述各子圖像攜帶有對(duì)應(yīng)圖像的類別；

基于各子圖像的類別，及各子圖像之間的特征距離，訓(xùn)練語(yǔ)義分割模型。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供的一種語(yǔ)義分割模型的訓(xùn)練裝置，其特征在于，包括：

分割單元，用于通過(guò)語(yǔ)義分割模型，對(duì)各未標(biāo)注圖像進(jìn)行圖像語(yǔ)義分割，得到初步語(yǔ)義分割結(jié)果，作為所述未標(biāo)注圖像的類別；

子圖像提取單元，用于通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，基于各所述未標(biāo)注圖像的類別，及各已標(biāo)注圖像的類別，得到各圖像分別對(duì)應(yīng)的子圖像及子圖像對(duì)應(yīng)的特征，所述各圖像包括各所述未標(biāo)注圖像及各所述已標(biāo)注圖像，所述各子圖像攜帶有對(duì)應(yīng)圖像的類別；

訓(xùn)練單元，用于基于各子圖像的類別，及各子圖像之間的特征距離，訓(xùn)練語(yǔ)義分割模型。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供的一種電子設(shè)備，包括處理器，所述處理器包括如上所述的語(yǔ)義分割模型的訓(xùn)練裝置。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供的一種電子設(shè)備，包括：存儲(chǔ)器，用于存儲(chǔ)可執(zhí)行指令；

以及處理器，用于與所述存儲(chǔ)器通信以執(zhí)行所述可執(zhí)行指令從而完成如上所述語(yǔ)義分割模型的訓(xùn)練方法的操作。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供的一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)可讀取的指令，其特征在于，所述指令被執(zhí)行時(shí)執(zhí)行如上所述語(yǔ)義分割模型的訓(xùn)練方法的操作。

基于本發(fā)明上述實(shí)施例提供的一種語(yǔ)義分割模型的訓(xùn)練方法和裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，通過(guò)語(yǔ)義分割模型對(duì)未標(biāo)注圖像進(jìn)行圖像語(yǔ)義分割，使未標(biāo)注圖像能夠得到一個(gè)帶噪聲的類別，基于未標(biāo)注圖像的類別，及已標(biāo)注圖像的類別，得到各圖像分別對(duì)應(yīng)的子圖像，將標(biāo)注圖像和未標(biāo)注圖像都應(yīng)用到訓(xùn)練中，實(shí)現(xiàn)了自監(jiān)督訓(xùn)練；通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)子圖像進(jìn)行特征提取，基于各子圖像的類別，及各子圖像之間的特征距離，實(shí)現(xiàn)對(duì)語(yǔ)義分割模型的訓(xùn)練，通過(guò)訓(xùn)練得到具有較強(qiáng)的語(yǔ)義區(qū)分能力的自監(jiān)督學(xué)習(xí)的語(yǔ)義分割模型，在語(yǔ)義分割上能獲得較高的準(zhǔn)確率。

下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

附圖說(shuō)明