[發(fā)明專利]一種基尼指數(shù)引導(dǎo)的基于自訓(xùn)練的語義分割方法

在審

• 申請?zhí)枺?/td>: 202110318561.6
• 申請日: 2021-03-25
• 公開（公告）號(hào): CN113095328A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 王立春;胡玉杰;王少帆;孔德慧;李敬華;尹寶才
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

1.一種基尼指數(shù)引導(dǎo)的基于自訓(xùn)練的語義分割方法，其特征在于：利用合成數(shù)據(jù)集作為源域，真實(shí)數(shù)據(jù)集為目標(biāo)域；訓(xùn)練時(shí)，在域間自適應(yīng)網(wǎng)絡(luò)輸入源域和目標(biāo)域圖像進(jìn)行訓(xùn)練，訓(xùn)練完成后，將目標(biāo)域圖像進(jìn)行劃分輸入到域內(nèi)自適應(yīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最優(yōu)分割結(jié)果；

具體方法步驟如下：

步驟(1)，將源域數(shù)據(jù)集和目標(biāo)域數(shù)據(jù)集隨機(jī)各取一張RGB圖像作為一個(gè)batch輸入語義分割網(wǎng)絡(luò)G_te；

步驟(2)，對(duì)源域圖像，基于網(wǎng)絡(luò)最后兩層的輸出預(yù)測圖和groundtruth計(jì)算交叉熵?fù)p失，并將源域最后兩層的損失進(jìn)行加權(quán)求和；

步驟(3)，對(duì)目標(biāo)域圖像，最后兩層的輸出預(yù)測圖分別計(jì)算基尼指數(shù)及不確定性損失，并將目標(biāo)域最后兩層的損失加權(quán)求和；

步驟(4)，將步驟(2)計(jì)算的加權(quán)損失和步驟(3)計(jì)算的加權(quán)損失進(jìn)行求和，利用誤差反向傳播優(yōu)化模型，迭代到模型的損失小于一定閾值后，這一batch數(shù)據(jù)訓(xùn)練結(jié)束；

步驟(5)，回步驟1繼續(xù)選取新的batch數(shù)據(jù)，重復(fù)步驟1到步驟5直到完成2000個(gè)batch的訓(xùn)練并保存所訓(xùn)練的模型；

步驟(6)，重復(fù)步驟(1)至步驟(5)直到共訓(xùn)練120000個(gè)batch數(shù)據(jù)，即一共保存60個(gè)模型；

步驟(7)，將保存的60個(gè)模型在目標(biāo)域驗(yàn)證集進(jìn)行測試，利用準(zhǔn)確率最好的模型計(jì)算目標(biāo)域訓(xùn)練集圖像的輸出預(yù)測，計(jì)算輸出預(yù)測對(duì)應(yīng)的基尼指數(shù)并基于基尼指數(shù)對(duì)目標(biāo)域訓(xùn)練集圖像賦予偽標(biāo)簽；

步驟(8)，將源域數(shù)據(jù)集和目標(biāo)域數(shù)據(jù)集隨機(jī)各取一張RGB圖像作為一個(gè)batch作為輸入，訓(xùn)練語義分割網(wǎng)絡(luò)G_st；

步驟(9)，對(duì)源域圖像，基于最后兩層的輸出預(yù)測圖和groundtruth計(jì)算交叉熵?fù)p失，并將源域最后兩層的損失進(jìn)行加權(quán)求和；

步驟(10)，對(duì)目標(biāo)域圖像，最后兩層的輸出預(yù)測圖分別和偽標(biāo)簽計(jì)算交叉熵?fù)p失，并將目標(biāo)域最后兩層的損失進(jìn)行加權(quán)求和；

步驟(11)，對(duì)目標(biāo)域圖像，最后兩層的輸出預(yù)測圖分別計(jì)算基尼指數(shù)及不確定性損失，并將目標(biāo)域最后兩層的損失加權(quán)求和；

步驟(12)，將步驟(9)、步驟(10)和步驟(11)的加權(quán)損失進(jìn)行求和，利用誤差反向傳播優(yōu)化模型，迭代到模型的損失小于一定閾值后，這一batch數(shù)據(jù)訓(xùn)練結(jié)束；

步驟(14)，回步驟8繼續(xù)選取新的batch數(shù)據(jù)，重復(fù)步驟8到12直到完成2000個(gè)batch的訓(xùn)練并保存所訓(xùn)練的模型，共訓(xùn)練120000個(gè)batch數(shù)據(jù)，即一共保存60個(gè)模型；

步驟(15)，測試時(shí)將所保存的60個(gè)模型在目標(biāo)域測試集進(jìn)行測試，獲取最終分割結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基尼指數(shù)引導(dǎo)的基于自訓(xùn)練的語義分割方法，其特征在于：所搭建的模型為無監(jiān)督領(lǐng)域自適應(yīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)整體結(jié)構(gòu)包括兩個(gè)子網(wǎng)絡(luò)G_te和G_st；首先訓(xùn)練網(wǎng)絡(luò)G_te；隨后依據(jù)網(wǎng)絡(luò)G_te對(duì)目標(biāo)域預(yù)測的不確定性度量結(jié)果選取目標(biāo)域圖像的偽標(biāo)簽，給相應(yīng)的目標(biāo)域圖像賦予偽標(biāo)簽后訓(xùn)練語義分割網(wǎng)絡(luò)G_st，通過增加有效的監(jiān)督信息提高對(duì)目標(biāo)域圖像的預(yù)測準(zhǔn)確性。